特許 7307918 データ処理装置、データ処理プログラムおよび基板群評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-05

(45)【発行日】2023-07-13

(54)【発明の名称】データ処理装置、データ処理プログラムおよび基板群評価システム

(51)【国際特許分類】

   G06F 16/483 20190101AFI20230706BHJP

   G06Q 10/30 20230101ALI20230706BHJP

【ＦＩ】

G06F16/483

G06Q10/30

【請求項の数】 12

(21)【出願番号】P 2019095358

(22)【出願日】2019-05-21

(65)【公開番号】P2020190881

(43)【公開日】2020-11-26

【審査請求日】2022-03-30

(73)【特許権者】

【識別番号】504409543

【氏名又は名称】国立大学法人秋田大学

(73)【特許権者】

【識別番号】306039131

【氏名又は名称】ＤＯＷＡメタルマイン株式会社

(74)【代理人】

【識別番号】100091362

【弁理士】

【氏名又は名称】阿仁屋 節雄

(74)【代理人】

【識別番号】100161034

【弁理士】

【氏名又は名称】奥山 知洋

(72)【発明者】

【氏名】景山 陽一

(72)【発明者】

【氏名】川村 茂

(72)【発明者】

【氏名】佐々木 一音

(72)【発明者】

【氏名】中村 悦郎

(72)【発明者】

【氏名】高橋 毅

(72)【発明者】

【氏名】石沢 千佳子

(72)【発明者】

【氏名】徳本 哲朗

(72)【発明者】

【氏名】佐藤 則幸

(72)【発明者】

【氏名】関口 秀一

(72)【発明者】

【氏名】小川 啓太

(72)【発明者】

【氏名】鳥井 岳人

(72)【発明者】

【氏名】多田 圭吾

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特開２０１６－２１８９７９（ＪＰ，Ａ）

【文献】特開２０１５－１６１５７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００８９２３９（ＵＳ，Ａ１）

【文献】特開２００９－１５７５５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
を備えるデータ処理装置。

【請求項2】

前記第１特徴量は、色相値に関する特徴量である
請求項１に記載のデータ処理装置。

【請求項3】

前記第１特徴量抽出部は、前記画像データを構成する各画素の色相値を、色相環における複数の区分領域のいずれに属するかを分類することで、前記第１特徴量を抽出するとともに、前記色相環として各区分領域が重複領域部分を有するように設定されたものを用いる
請求項２に記載のデータ処理装置。

【請求項4】

前記第２特徴量は、前記廃電子基板の所定形状部分の画像中における分布に基づく特徴量である
請求項１から３のいずれか１項に記載のデータ処理装置。

【請求項5】

前記第２特徴量抽出部は、前記所定形状部分に相当する画素値を抽出するとともに、当該画素値の画像中における分布を当該画像中に設定した仮想格子を利用して抽出する
請求項４に記載のデータ処理装置。

【請求項6】

前記画像データにおける前記廃電子基板の所定形状部分の量に関する特徴量を第３特徴量として抽出する第３特徴量抽出部を備え、
前記類否判定部は、前記第１特徴量および前記第２特徴量に加えて前記第３特徴量を指標に用いて、類否判定を行うように構成されている
請求項１から５のいずれか１項に記載のデータ処理装置。

【請求項7】

前記所定形状部分は、前記廃電子基板の直線形状部分であり、
前記第３特徴量は、前記直線形状部分の本数に関する特徴量である
請求項６に記載のデータ処理装置。

【請求項8】

前記類否判定部は、類否判定にあたり、当該類否判定に用いる各特徴量に対して重み付けをするように構成されている
請求項１から７のいずれか１項に記載のデータ処理装置。

【請求項9】

前記類否判定部は、少なくとも前記第１特徴量と前記第２特徴量とを同等の重みとするように構成されている
請求項８に記載のデータ処理装置。

【請求項10】

前記画像データには、当該画像データの識別情報が関連付けられており、
前記類否判定部は、前記識別情報に基づいて、前記一つの画像データとの類否判定の対象となる前記他の画像データを絞り込むように構成されている
請求項１から９のいずれか１項に記載のデータ処理装置。

【請求項11】

コンピュータを、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
として機能させるデータ処理プログラム。

【請求項12】

廃電子基板の集合体を撮像する画像撮像部と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定部と、
前記画像撮像部での撮像結果と前記資源量推定部での推定結果とを対応付けて記憶蓄積するデータベース部と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記資源量推定部での分析対象について前記データ取得部が取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得部が前記データベース部から取得する他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
前記類否判定部で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定部で分析対象となる前記集合体についての評価情報として出力する評価情報出力部と、
を備える基板群評価システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法に関する。

【背景技術】

【0002】

電子機器を構成する電子基板には、金、銀、銅、白金、パラジウム等の経済的価値の高い金属が含まれている。そのため、近年では、廃棄された電子基板（以下「廃電子基板」という。）をリサイクルすることにより、その廃電子基板からの主要金属の抽出および製錬が行われている。

【0003】

廃電子基板のリサイクルに際しては、その廃電子基板に含まれる主要金属（有価物）の種類、含有量等に関する情報を予め把握することが非常に重要である。このことから、リサイクルの対象となる廃電子基板については、その廃電子基板の画像データを利用して、その廃電子基板に含まれる有価物の量を非破壊で推定することが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－２３２４４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

廃電子基板のリサイクルをビジネスとして成立させるためには、単に廃電子基板の含有金属（有価物）の推定結果を得るだけでは足りず、その推定結果に対する信頼性を高く担保するとともに、リサイクルのために必要な処理を効率的に行うことが非常に重要である。信頼性を高く担保するためには、過去のリサイクルの際に得られた過去データを活用することが非常に有効であると考えられる。また、効率的な処理実現のためには、属人的な処理を廃しつつ、複数の廃電子基板の集合体（基板群）を一括して処理することが非常に有効であると考えられる。

【0006】

本発明は、廃電子基板の集合体について、その集合体の画像データと過去データを構成する画像データとの類否判定を行うことで、廃電子基板のリサイクルビジネスの成立に寄与する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
を備えるデータ処理装置である。

【0008】

本発明の第２の態様は、
前記第１特徴量は、色相値に関する特徴量である
第１の態様に記載のデータ処理装置である。

【0009】

本発明の第３の態様は、
前記第１特徴量抽出部は、前記画像データを構成する各画素の色相値を、色相環における複数の区分領域のいずれに属するかを分類することで、前記第１特徴量を抽出するとともに、前記色相環として各区分領域が重複領域部分を有するように設定されたものを用いる
第２の態様に記載のデータ処理装置である。

【0010】

本発明の第４の態様は、
前記第２特徴量は、前記廃電子基板の所定形状部分の画像中における分布に基づく特徴量である
第１から第３の態様のいずれか１態様に記載のデータ処理装置である。

【0011】

本発明の第５の態様は、
前記第２特徴量抽出部は、前記所定形状部分に相当する画素値を抽出するとともに、当該画素値の画像中における分布を当該画像中に設定した仮想格子を利用して抽出する
第４の態様に記載のデータ処理装置である。

【0012】

本発明の第６の態様は、
前記画像データにおける前記廃電子基板の所定形状部分の量に関する特徴量を第３特徴量として抽出する第３特徴量抽出部を備え、
前記類否判定部は、前記第１特徴量および前記第２特徴量に加えて前記第３特徴量を指標に用いて、類否判定を行うように構成されている
第１から第５の態様のいずれか１態様に記載のデータ処理装置である。

【0013】

本発明の第７の態様は、
前記所定形状部分は、前記廃電子基板の直線形状部分であり、
前記第３特徴量は、前記直線形状部分の本数に関する特徴量である
第６の態様に記載のデータ処理装置である。

【0014】

本発明の第８の態様は、
前記類否判定部は、類否判定にあたり、当該類否判定に用いる各特徴量に対して重み付けをするように構成されている
第１から第７のいずれか１態様に記載のデータ処理装置である。

【0015】

本発明の第９の態様は、
前記類否判定部は、少なくとも前記第１特徴量と前記第２特徴量とを同等の重みとするように構成されている
第８の態様に記載のデータ処理装置である。

【0016】

本発明の第１０の態様は、
前記画像データには、当該画像データの識別情報が関連付けられており、
前記類否判定部は、前記識別情報に基づいて、前記一つの画像データとの類否判定の対象となる前記他の画像データを絞り込むように構成されている
第１から第９のいずれか１態様に記載のデータ処理装置である。

【0017】

本発明の第１１の態様は、
コンピュータを、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
として機能させるデータ処理プログラムである。

【0018】

本発明の第１２の態様は、
廃電子基板の集合体の画像データを取得するデータ取得工程と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出工程と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出工程と、
前記データ取得工程で取得する一つの画像データと他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定工程と、
を備える基板群類否判定方法である。

【0019】

本発明の第１３の態様は、
廃電子基板の集合体を撮像する画像撮像部と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定部と、
前記画像撮像部での撮像結果と前記資源量推定部での推定結果とを対応付けて記憶蓄積するデータベース部と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得部と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出部と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出部と、
前記資源量推定部での分析対象について前記データ取得部が取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得部が前記データベース部から取得する他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定部と、
前記類否判定部で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定部で分析対象となる前記集合体についての評価情報として出力する評価情報出力部と、
を備える基板群評価システムである。

【0020】

本発明の第１４の態様は、
廃電子基板の集合体を画像撮像部で撮像する画像撮像工程と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定工程と、
前記画像撮像工程での撮像結果と前記資源量推定工程での推定結果とを対応付けてデータベース部に記憶蓄積させるデータ記憶工程と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得工程と、
前記画像データの色情報に関する特徴量を第１特徴量として抽出する第１特徴量抽出工程と、
前記画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する第２特徴量抽出工程と、
前記資源量推定工程での分析対象について前記データ取得工程で取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得工程で前記データベース部から取得する他の画像データとについて、少なくとも前記第１特徴量および前記第２特徴量を指標に用いて、類否判定を行う類否判定工程と、
前記類否判定工程で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定工程で分析対象となる前記集合体についての評価情報として出力する評価情報出力工程と、
を備える基板群評価方法である。

【発明の効果】

【0021】

本発明によれば、廃電子基板の集合体について、その集合体の画像データと他の画像データとの類否判定を行うことが可能となり、これにより廃電子基板のリサイクルビジネスの成立に寄与することができる。

【図面の簡単な説明】

【0022】

【図1】廃電子基板のリサイクル処理における分析処理の手順の一例を示すフロー図である。

【図2】本発明に係る基板群評価システムのシステム構成を示す模式図である。

【図3】本発明に係る基板群評価システムの機能構成の一例を示すブロック図である。

【図4】本発明に係る基板群類否判定方法の手順の一例を示すフロー図である。

【図5】本発明に係る基板群類否判定方法で取り扱う基板画像の一具体例を示す説明図である。

【図6】本発明に係る基板群類否判定方法で第１特徴量の算出に用いる色相環の色相区分の一具体例を示す説明図である。

【図7】本発明に係る基板群類否判定方法で第２特徴量の算出に用いるマスク画像の一具体例を示す説明図である。

【図8】本発明に係る基板群類否判定方法で第２特徴量の算出に用いる画像上の仮想線の一具体例を示す説明図である。

【図9】本発明に係る基板群類否判定方法で第３特徴量の算出に用いる画像上の直線検出結果の一具体例を示す説明図である。

【発明を実施するための形態】

【0023】

以下、図面に基づき、本発明に係るデータ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法について説明する。

【0024】

＜リサイクル処理の概要＞
ここで、まず、廃電子基板のリサイクル処理の概要を説明する。

【0025】

廃電子基板のリサイクル処理は、非鉄金属製錬所にて廃電子基板からの主要金属の抽出および製錬を行う処理とすることができ、その廃電子基板の含有金属量等を把握するための分析処理を含む。
処理の対象となる廃電子基板は、プリント基板上に電子部品を搭載したもので、金、銀、銅、白金、パラジウム等の金属資源を含有するものである。具体的には、メモリ基板、ネットワーク基板、サーバ基板類、拡張基板、フィンガーボード、ＨＤＤ基板、ＣＰＵ基板、携帯電話機の基板等が例示できる。
なお、リサイクル処理にあたり、廃電子基板は、同種のもの（例えば、搭載する電子部品の構成が同一・類似のもの）が一定量で纏められた集合体とし、その集合体を一つの単位（以下、一つの単位のことを「ロット」という。）として取り扱われる。したがって、異種の廃電子基板は、別ロットとして取り扱われる。

【0026】

リサイクル処理における分析処理は、例えば、以下に述べる手順で行われる。
図１は、廃電子基板のリサイクル処理における分析処理の手順の一例を示すフロー図である。
分析処理を行う際には、はじめに、対象ロットとなる廃電子基板の集合体を撮像して、その集合体の画像（以下、「基板画像」ともいう。）を取得する（ステップ１０１、以下ステップを「Ｓ」と略す。）。次いで、対象ロットの廃電子基板を破砕して、その一部をサンプルとし（Ｓ１０２）、そのサンプルの成分分析を行う（Ｓ１０３）。これにより、廃電子基板の金属含有比率が得られる。金属含有比率とは、所定量（例えば、重さ１ｔ）の廃電子基板あたりに含まれると推定される主要金属の割合のことをいう。つまり、サンプルの成分分析によって、廃電子基板の集合体に含有される金属資源量が推定されることになる。
分析終了後は、過去のリサイクル処理の際に得られた過去データを記憶蓄積するデータベース部にアクセスして、そのデータベース部における記憶蓄積データを参照し、対象ロットの基板画像および金属含有比率に類似した基板画像および金属含有比率を有するデータを選定する（Ｓ１０４）。そして、選定したデータについて、対象ロットの基板画像および金属含有比率との類似度を判定し（Ｓ１０５）、類似度が予め設定された基準よりも高ければ、成分分析結果を承認するプロセスに進み、上述した一連の分析処理を終了する（Ｓ１０６）。一方、類似度が基準に満たなければ、対象ロットの成分分析結果を再確認すべく、サンプル採取から上述した一連の処理を繰り返す。

【0027】

以上のような手順の分析処理は、廃電子基板の集合体であるロット毎に行われる。つまり、一つのロットを構成する複数の廃電子基板の集合体（基板群）を一括して処理することになる。したがって、効率的な処理を実現する上では、非常に有効である。
ただし、上述した分析処理において、基板画像等についての類否判定を作業者の主観判定で行うと、属人的な処理となることから、その処理の信頼性を高く担保するという点で好ましくない。また、比較対象となるデータ量が膨大であると、作業者にとっての負担が大きく、多くの時間を要してしまうことになるため、効率的な処理を実現する上でも好ましくない。
このことから、本実施形態においては、リサイクル処理における分析処理にあたり、廃電子基板の集合体についての類否判定の自動化を可能にするアルゴリズムを用いる。これにより、本実施形態では、廃電子基板の集合体に含有される金属資源量の推定について、その推定結果に対する信頼性を高く担保するとともに、そのために必要な処理を効率的に行うことを可能にしているのである。

【0028】

＜システム構成例＞
次に、本実施形態において廃電子基板の集合体の類否判定の自動化を可能にするために用いられるシステムの構成例を説明する。ここで例に挙げるシステムは、本発明に係る「基板群評価システム」の一具体例に相当するものである。
図２は、本実施形態で例に挙げる基板群評価システムのシステム構成（ハードウエア構成）を示す模式図である。図３は、図２に示す基板群評価システムにおける機能構成（ソフトウエア構成）の一例を示すブロック図である。

【0029】

（全体構成）
図２に示すように、本実施形態で例に挙げるシステムは、対象ロットとなる廃電子基板の集合体（以下、「基板群」ともいう。）１を受け入れて搬送するべルトコンベア２と、べルトコンベア２上を流れる基板群１を撮影して基板画像を得る画像撮像部としてのカメラ３と、べルトコンベア２から受け取った基板群１を成分分析して金属含有比率を求めることで当該基板群１に含有される金属資源量を推定する資源量推定部４と、コンピュータ装置によって構成されるサーバ装置５およびデータ処理装置６と、を備えている。なお、サーバ装置５およびデータ処理装置６は、それぞれが別体で構成されたものであってもよいし、それぞれが一体で構成されたものであってもよい。

【0030】

これらのうち、べルトコンベア２、カメラ３および資源量推定部４については、公知技術を利用して構成されたものであればよく、ここではその詳細な説明を省略する。
また、本実施形態では、ベルトコンベア２上の基板群１をカメラ３で撮影するシステム構成を例に挙げているが、これに限定されることはなく、他のシステム構成であっても構わない。例えば、カメラ３は、ベルトコンベア２による搬送前の基板群１を撮影するものであってもよいし、ベルトコンベア２以外の搬送具によって搬送される基板群１を撮影するものであってもよいし、あるいは所定箇所に載置される基板群１を撮影するものであってもよい。さらに、カメラ３は、後述するデータ取得部６１やデータベース部５１等に画像データを提供可能なものであれば、システム外に設置されたもの（例えば、システムの遠隔地に設置された外部カメラ）を用いてもよい。

【0031】

（サーバ装置）
図３に示すように、サーバ装置５は、過去のリサイクル処理の際にシステム内で得られた過去データを記憶蓄積するデータベース部５１を有している。データベース部５１が記憶蓄積するデータには、カメラ３で得られた基板画像の画像データと、資源量推定部４による金属資源量の推定結果に関するデータ（以下、単に「資源量データ」という。）と、が含まれる。

【0032】

基板画像の画像データは、システム内で処理したロット毎に記憶蓄積されている。ロット毎の各画像データには、各画像データを識別するための識別情報が関連付けられている。識別情報としては、例えば、各ロットにおける基板種類名（品名等）、ロット番号、処理日時等に関する情報が挙げられるが、識別を可能にするものであれば特に限定されるものではない。また、識別情報の形式についても、例えば、テキスト形式、二次元または一次元のバーコード形式等が挙げられるが、認識が可能であれば特に限定されるものではない。

【0033】

資源量推定部４での推定結果である資源量データは、画像データと対応付けられて、システム内で処理したロット毎に記憶蓄積されている。つまり、データベース部５１は、画像データと資源量データとを対応付けて、ロット毎に記憶蓄積しているのである。

【0034】

（データ処理装置）
データ処理装置６は、本発明に係る「データ処理装置」の一具体例に相当するもので、システム全体の動作を制御するためにＣＰＵ、ＲＯＭ、ＲＡＭ等の組み合わせからなる演算部、フラッシュメモリやＨＤＤ等の記憶部といったハードウエア資源を備えて構成されている。つまり、データ処理装置６は、コンピュータ装置としてのハードウエア資源を備えて構成されており、記憶部に記憶された所定プログラムを演算部が実行することにより、そのプログラム（ソフトウエア）とハードウエア資源とが協働して、システム全体の動作を制御するようになっている。

【0035】

また、データ処理装置６は、演算部が所定プログラムを実行することにより、少なくとも、データ取得部６１、第１特徴量抽出部６２、第２特徴量抽出部６３、第３特徴量抽出部６４、類否判定部６５および評価情報出力部６６として機能するようになっている。

【0036】

データ取得部６１は、カメラ３またはデータベース部５１から基板画像の画像データを取得する機能である。具体的には、データ取得部６１は、資源量推定部４での分析対象となる対象ロットの基板画像の画像データをカメラ３から取得するとともに、その比較対象となる基板画像の画像データをデータベース部５１から取得するようになっている。なお、取得する画像データのデータ形式は、特に限定されるものではない。

【0037】

第１特徴量抽出部６２は、データ取得部６１が取得する画像データについて、その画像データの色情報に関する特徴量を第１特徴量として抽出する機能である。なお、第１特徴量については、詳細を後述する。

【0038】

第２特徴量抽出部６３は、データ取得部６１が取得する画像データについて、その画像データの基板分布の変動係数に関する特徴量を第２特徴量として抽出する機能である。なお、第２特徴量については、詳細を後述する。

【0039】

第３特徴量抽出部６４は、データ取得部６１が取得する画像データについて、その画像データにおける廃電子基板の所定形状部分の量に関する特徴量を第３特徴量として抽出する機能である。なお、第３特徴量については、詳細を後述する。

【0040】

類否判定部６５は、資源量推定部４での分析対象となる対象ロットについてデータ取得部６１がカメラ３から取得する一つの画像データと、当該一つの画像データとの対比のためにデータ取得部６１がデータベース部５１から取得する他の画像データとについて、類否判定を行う機能である。類否判定部６５では、少なくとも第１特徴量および第２特徴量を、好ましくは第１特徴量および第２特徴量に加えて第３特徴量を、それぞれ指標に用いて類否判定を行うようになっている。また、類否判定部６５は、画像データの識別情報に基づいて、類否判定の対象となる画像データの絞り込みを行うようにもなっている。

【0041】

評価情報出力部６６は、類否判定部６５での類否判定の結果を受けて、その類否判定の結果から特定される各種情報を、対象ロットの基板群についての評価情報として出力する機能である。評価情報出力部６６が出力する評価情報は、資源量推定部４での成分分析結果を承認するプロセスのために供される情報である。具体的には、評価情報には、例えば、対象ロットについての一つの画像データと類似度が高いと類否判定部６５で判定された他の画像データと、類似度が高い画像データに対応する資源量データと、が含まれる。これらの情報は、評価情報出力部６６によってデータベース部５１から取り出されて、評価情報を構成することになる。

【0042】

（プログラム）
以上のような機能構成のデータ処理装置６において、上述した各部６１～６６としての機能は、当該データ処理装置６を構成する演算部が所定プログラムを実行することによって実現される。つまり、各部６１～６６としての機能を実現する所定プログラムは、本発明に係る「データ処理プログラム」の一実施形態に相当する。

【0043】

その場合に、各機能を実現する所定プログラムは、コンピュータ装置としてのデータ処理装置６にインストール可能なものであれば、当該コンピュータ装置で読み取り可能な記録媒体（例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等）に格納されて提供されるものであってもよいし、インターネットや専用回線等のネットワークを通じて外部から提供されるものであってもよい。

【0044】

＜基板群類否判定の手順＞
次に、上述した構成のシステムにおける処理動作例について説明する。ここでは、主として、データ処理装置６により基板群の類否判定を行う手順を具体的に説明する。ここで例に挙げる手順は、本発明に係る「基板群類否判定方法」の一具体例に相当する。なお、「基板群類否判定方法」の手順は、本発明に係る「基板群評価方法」の手順の一部を構成する。

【0045】

図４は、本実施形態で例に挙げる基板群類否判定方法の手順を示すフロー図である。図５は、図４に示す基板群類否判定方法で取り扱う基板画像の一具体例を示す説明図である。図６は、図４に示す基板群類否判定方法で第１特徴量の算出に用いる色相環の色相区分の一具体例を示す説明図である。図７は、図４に示す基板群類否判定方法で第２特徴量の算出に用いるマスク画像の一具体例を示す説明図である。図８は、図４に示す基板群類否判定方法で第２特徴量の算出に用いる画像上の仮想線の一具体例を示す説明図である。図９は、図４に示す基板群類否判定方法で第３特徴量の算出に用いる画像上の直線検出結果の一具体例を示す説明図である。

【0046】

（データ取得）
図４に示すように、基板群の類否判定にあたっては、まず、ベルトコンベア２上に供給された対象ロット（以下「ロットＡ」という。）の基板群１の基板画像をカメラ３で撮像し、その撮像結果である画像データをデータ取得部６１がカメラ３から取得する（Ｓ２０１）。なお、基板画像の画像データには、例えばカメラ３での撮像時に、その画像データに固有の識別情報が関連付けられるものとする。

【0047】

図５は、基板画像の一具体例を示したものである。図例は、廃電子基板の種類がメモリ基板であり、複数枚のメモリ基板が重なり合うように纏められて基板群１を構成している場合を示している。このように、カメラ３での撮像対象となる基板群１は、メモリ基板、ネットワーク基板、サーバ基板類、拡張基板、フィンガーボード、ＨＤＤ基板、ＣＰＵ基板、携帯電話機の基板等のいずれかのうち１種の廃電子基板の集合体を示す。ただし、ベルトコンベア２上での各廃電子基板の重なり合いの状態や位置等については、不定なものでありロット毎に異なる。したがって、データ取得部６１が取得する画像データは、同種の基板群についてのものであっても、ロット毎に各基板の重なり合いの状態や位置等が異なる。また、データ取得部６１が取得する画像データは、カメラ３での撮像時がロット毎に異なるため、照度や撮像距離等が調整可能であっても、撮像時の環境条件（外乱）等の影響が及び得るものとなる。

【0048】

ロットＡの画像データを取得すると、図４に示すように、データ取得部６１は、データベース部５１にアクセスして、そのデータベース部５１に記憶蓄積されている処理済ロット（以下「ロットＢ」という。）の画像データを取得する（Ｓ２０２）。ただし、ロットＢの画像データは、過去データを構成するものであるから、データ量が膨大であり、またロットＡとは別種類の廃電子基板のものを含んでいることが考えられる。そのため、ロットＢに相当するデータベース部５１内の全画像データについて、ロットＡの画像データとの類否判定の対象（対比相手）とすると、処理効率の点では好ましくない。

【0049】

このことから、ロットＢの画像データについては、類否判定部６５が類否判定の対象となる画像データの絞り込みを行うことが好ましい（Ｓ２０３）。具体的には、類否判定部６５は、ロットＡの画像データの識別情報と、ロットＢの画像データの識別情報とに着目し、それぞれの間の類似度（後述する特徴類似度）を算出する。類似度は、例えば、識別情報が基板品名を特定するテキスト情報であれば、レーベンシュタイン距離によって算出することが考えられる。ただし、これに限定されるものではなく、識別情報の属性に応じて、他の公知技術を用いて算出してもよい。そして、それぞれの間の類似度を算出したら、その類似度を予め設定された閾値と比較して、閾値以上の類似度を有するロット（以下「ロットＣ」という。）の画像データのみを類否判定の対象とする。

【0050】

このように、識別情報に基づいて類否判定部６５が画像データの絞り込みを行えば、ロットＡの画像データとの類否判定の対象は、ロットＣの画像データのみに絞り込まれる（Ｓ２０４）。したがって、例えば、ロットＡとは別種類の廃電子基板で構成されるロットについては、類否判定の対象（対比相手）から排除されることになり、画像データの絞り込みを行わない場合に比べると、処理効率の向上が図れるようになる。

【0051】

（第１特徴量の抽出）
その後は、ロットＡの画像データおよびロットＣの画像データのそれぞれ（ロットＣが複数ロットの場合は各ロットの画像データ毎、以下同様とする。）について、第１特徴量抽出部６２が第１特徴量を抽出する（Ｓ２０５）。さらに詳しくは、第１特徴量抽出部６２は、第１特徴量として、画像データの色情報に関する特徴量を算出する。基板画像は、その基板画像を構成する廃電子基板の種類に応じて、画像中に包含される色の種類が異なる。そのため、色情報は、基板画像を特徴付ける上で、非常に有用であると考えられる。

【0052】

本実施形態において、第１特徴量抽出部６２は、色情報に関する特徴量（すなわち第１特徴量）として、ＨＳＶ表色系の色相値に関する特徴量を算出することができる。ＨＳＶ表色系は、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の三成分によって表現され、ＲＧＢ表色系と比較して、色の違いを人間の感覚に近い形で捉えることができる。特に、ＨＳＶ表色系の色相値に着目した特徴量によれば、カメラ３での撮像時における照明条件等に対するロバスト性が得られ、作業者の目視判定に近い判定結果を得ることが可能となる。

【0053】

色相値に関する特徴量の算出は、例えば、図６に示す色相環を用いて行う。かかる色相環を、周方向について複数（例えば、２４段階）の色相区分に領域分割する。このとき、隣り合う各区分領域が所定の大きさ（例えば、色相値５°分）の重複領域部分を有するように設定できる。
このような色相環を用いて特徴量を算出する場合には、まず、ロットＡまたはロットＣの各画像データについて、当該画像データを構成する各画素の色相値を抽出する。そして、各画素の色相値が、色相環の２４段階の区分領域のいずれに属するかを分類する。このとき、重複領域部分に属する色相値については、各区分領域のそれぞれに重複して分類する。これにより、ノイズ成分（例えば、基板の実際の色との差異）を排除した分類を行うことが可能となり、後述する画素数割合算出の高精度化に有用なものとなる。このような分類を画像データを構成する全画素分について行い、各色相区分に含まれる画素数の割合を算出する。
すなわち、図６に示す色相環の１５°毎の区分領域に含まれる画素数の割合を、色相値に関する特徴量ｆ_ｃｉ（_ｉ＝１～２４）とする。各色相区分の画素数の割合を用いることで、カメラ３での撮像時における画像サイズや解像度の違いに対するロバスト性を得ることが実現可能となる。

【0054】

これにより、第１特徴量抽出部６２は、ロットＡの画像データの第１特徴量（ｆ_ｃＡｉ）およびロットＣの画像データの第１特徴量（ｆ_ｃＣｉ）のそれぞれを抽出することになる。

【0055】

（第２特徴量の抽出）
また、ロットＡの画像データおよびロットＣの画像データのそれぞれについては、図４に示すように、第２特徴量抽出部６３が第２特徴量を抽出する（Ｓ２０６）。さらに詳しくは、第２特徴量抽出部６３は、第２特徴量として、基板分布の変動係数に関する特徴量を算出する。基板分布は、廃電子基板の所定形状部分の画像中における分布に基づいて特定することができる。廃電子基板の所定形状部分としては、当該廃電子基板の端子部に相当する直線形状部分が挙げられる。つまり、本実施形態において、第２特徴量抽出部６３は、基板分布の変動係数に関する特徴量（すなわち第２特徴量）として、廃電子基板の端子部（直線形状部分）の分布状況を変動係数によって表した特徴量を算出する。
廃電子基板は、一般に、電極端子が列状に配置された端子部を有しており、その配置は廃電子基板の種類によって異なる。そのため、このような端子部（直線形状部分）の画像中における分布の状況を数値化することは、基板画像を特徴付ける上で、非常に有用であると考えられる。しかも、廃電子基板には、端子部以外にも多様な部品が搭載されているが、端子部（直線形状部分）のみに着目することで、処理の効率化が図れるようになる。

【0056】

廃電子基板の端子部（直線形状部分）の分布状況を変動係数によって表した特徴量の算出は、例えば、以下のような手順で行う。まず、ロットＡまたはロットＣの各画像データによって特定される基板画像ついて、所定形状部分である端子部（直線形状部分）に相当する画素値のみを抽出したマスク画像を生成する。具体的には、端子部の材質に起因する色味に着目して予め設定されたＨＳＶ値範囲に属する画素を白画素とし、他の画素を黒画素とするように、画像データに対する二値化処理を行う。これにより、例えば、図５に示す基板画像の画像データから、図７に示すようなマスク画像の画像データが得られることになる。

【0057】

そして、マスク画像を生成したら、そのマスク画像において白画素とした画素値の当該マスク画像中における分布を表す分散値を、当該マスク画像中に設定した仮想格子を利用して抽出する。具体的には、マスク画像に対して、例えば、図８（ａ）に示すように、当該マスク画像の一端（例えば、左端）から所定間隔（例えば、５画素間隔）で仮想的に垂線を設定し、各垂線上に存在する白画素の画素数を算出する。また、例えば、図８（ｂ）に示すように、当該マスク画像の一端（例えば、上端）から所定間隔（例えば、５画素間隔）で仮想的に水平線を設定し、各水平線上に存在する白画素の画素数を算出する。各垂線上および各水平線上に存在する白画素の画素数を算出したら、白画素の分布の分散値（標準偏差）を白画素数の平均値で除する演算式を含む所定の演算式を用いて、変動係数を算出する。
このようにして得られた白画素の分布状況の変動係数を、基板分布の変動係数に関する特徴量ｆ_Ｖ、すなわち本実施形態における第２特徴量とする。廃電子基板の所定形状部分に着目し、その分布状況を変動係数によって表すことで、カメラ３での撮像時における画像サイズや解像度の違いに対するロバスト性を得ることが実現可能となる。

【0058】

これにより、第２特徴量抽出部６３は、ロットＡの画像データおよびロットＣの画像データのそれぞれについて、第２特徴量を抽出することになる。

【0059】

（第３特徴量の抽出）
また、ロットＡの画像データおよびロットＣの画像データのそれぞれについては、図４に示すように、第３特徴量抽出部６４が第３特徴量を抽出する（Ｓ２０７）。さらに詳しくは、第３特徴量抽出部６４は、第３特徴量として、廃電子基板の所定形状部分の量に関する特徴量を算出する。所定形状部分は、第２特徴量の場合と同様に、廃電子基板の端子部に相当する直線形状部分である。所定形状部分の量としては、直線形状部分の本数が挙げられる。つまり、本実施形態において、第３特徴量抽出部６４は、廃電子基板の所定形状部分の量に関する特徴量（すなわち第３特徴量）として、廃電子基板の端子部（直線形状部分）の本数（すなわち、画像中の直線本数）に関する特徴量を算出する。
基板画像における廃電子基板は、ロット毎に各基板の重なり合いの状態や位置等が異なる。そのため、画像中の直線本数を数値化して、端子部の存在数を推定可能にすれば、各基板の重なり合い具合や重なり量等を把握できるようになり、基板画像を特徴付ける上で、非常に有用であると考えられる。

【0060】

画像中の直線本数に関する特徴量の算出は、例えば、以下のような手順で行う。まず、第２特徴量算出で用いたマスク画像に対して、直線検出処理を行う。具体的には、例えば、図９に示すように、マスク画像における白画素の連続性を利用して、そのマスク画像中で白画素によって形成される線分（直線）を検出する。そして、この直線検出処理で直線として検出された線分の本数を算出する。
このようにして得られた白画素の直線本数を、基板所定形状部分の量に関する特徴量ｆ_Ｌ、すなわち本実施形態における第３特徴量とする。廃電子基板の所定形状部分の量に着目することで、ロット毎の各基板の重なり合いの状態や位置等の違いに対するロバスト性を得ることが実現可能となる。

【0061】

これにより、第３特徴量抽出部６４は、ロットＡの画像データおよびロットＣの画像データのそれぞれについて、第３特徴量を抽出することになる。

【0062】

（類否判定）
第１特徴量、第２特徴量および第３特徴量の抽出後、図４に示すように、類否判定部６５は、ロットＡの画像データとロットＣの画像データとについて、それぞれの間の類否判定を行う。このとき、類否判定部６５は、少なくとも第１特徴量および第２特徴量を、好ましくは第１特徴量および第２特徴量に加えて第３特徴量を指標として用い、ロットＡの画像データとロットＣの画像データとの画像類似度を算出することによって、それぞれの間の類否判定を行う（Ｓ２０８）。画像類似度の算出は、例えば、以下のような手順で行う。

【0063】

まず、類否判定部６５は、第１特徴量について、ロットＡの画像データとロットＣの画像データとの特徴類似度Ｆ_ｃを算出する。具体的には、ロットＡの画像データの第１特徴量をｆ_ｃＡ、ロットＣの画像データの第１特徴量をｆ_ｃＣ、第１特徴量の算出に用いた色相区分の領域数をｎとした場合に、以下の（１）式を用いて、特徴類似度Ｆ_ｃを算出する。上述した色相環を２４段階に分割した場合であれば、ｎ＝２４として特徴類似度Ｆ_ｃを算出できる。具体的には、式１における_ｉ＝１の場合のＦ_ｃＡｉ、ｆ_ｃＣｉは、それぞれ色相区分を図６のように２４区分した場合には、Ｆ_ｃＡｉは色相区分１に分類されるロットＡの画像データの比率、ｆ_ｃＣｉは色相区分１に分類されるロットＣの画像データの比率である。

【0064】

【数1】

【0065】

また、類否判定部６５は、第２特徴量について、ロットＡの画像データとロットＣの画像データとの特徴類似度Ｆ_ｖを算出する。具体的には、ロットＡの画像データの第２特徴量をｆ_ｖＡ、ロットＣの画像データの第２特徴量をｆ_ｖＣとした場合に、以下の（２）式を用いて、特徴類似度Ｆ_ｖを算出する。

【0066】

【数2】

【0067】

さらに、類否判定部６５は、第３特徴量について、ロットＡの画像データとロットＣの画像データとの特徴類似度Ｆ_Ｌを算出する。具体的には、ロットＡの画像データの第３特徴量をｆ_ＬＡ、ロットＣの画像データの第３特徴量をｆ_ＬＣとした場合に、以下の（３）式を用いて、特徴類似度Ｆ_Ｌを算出する。

【0068】

【数3】

【0069】

そして、類否判定部６５は、３種類の特徴類似度（Ｆ_ｃ，Ｆ_ｖ，Ｆ_Ｌ）の算出結果を基に、以下の（４）式を用いて、ロットＡの画像データとロットＣの画像データとの画像類似度Ｓを算出する。

【0070】

【数4】

【0071】

なお、（４）式において、係数αは第１特徴量に関する重み付け係数、係数βは第２特徴量に関する重み付け係数、係数γは第３特徴量に関する重み付け係数をそれぞれ表している。つまり、類否判定部６５は、画像類似度Ｓの算出にあたり、類否判定の指標として用いる第１特徴量から第３特徴量までの各特徴量に対して、重み付けをするようになっている。

【0072】

各係数α，β，γは、それぞれの大きさのバランスが特に限定されるものではなく、実験結果やシミュレーション結果等に応じて、適宜設定されたものであればよい。例えば、第１特徴量および第２特徴量を類否判定の指標とし、第３特徴量については考慮しない場合であれば、係数γが「０」に設定されることになる。

【0073】

ただし、係数αと係数βとについては、それぞれの大きさが同等となるように設定されていることが好ましい。つまり、類否判定部６５は、少なくとも第１特徴量と第２特徴量とを同等の重みとすることが好ましい。ここでいう同等とは、係数αと係数βとの大きさの違いが例えば±１５％の範囲内にあることをいう。このように、第１特徴量と第２特徴量との重みを同等とすれば、後述するように良好な類否判定の判定成功率が得られることを確認済みである。

【0074】

以上のような手順を経ることで、類否判定部６５は、ロットＡの画像データおよびロットＣの画像データについて、それぞれの間の画像類似度Ｓを算出する。なお、ロットＣが複数ロットの場合、類否判定部６５は、複数ロットのそれぞれについて、ロットＡの画像データに対する画像類似度Ｓを算出することになる。

【0075】

（評価情報の出力）
類否判定部６５が画像類似度Ｓを算出すると、評価情報出力部６６は、その算出結果を含む各種情報を、ロットＡについての評価情報として出力する。出力は、例えば、画像表示や印刷出力等の公知の手法で行えばよい。この出力結果を参照することで、システム利用者は、類否判定の結果を含むロットＡについての評価情報の内容を把握することができる。

【0076】

このような評価情報の出力によって、その評価結果をロットＡの基板群に含有される金属資源量の推定結果に付随させることができる。これにより、ロットＡについての金属資源量の推定結果に対する信頼性を高く担保することが実現可能となる。

【0077】

（具体的な算出例）
ここで、画像類似度Ｓの算出結果の具体例について、簡単に説明する。ここでは、ロットＡの画像データと、複数ロットであるロットＣの各画像データとについて、それぞれの間の画像類似度Ｓを算出し、その算出結果に基づいてロットＣのうち画像類似度Ｓの高さが上位２位までのロットを抽出し、各ロットの資源量データに基づき所定金属（例えば、金）の含有比率の値を認識し、その金属含有比率がロットＡについての金属含有比率の±１０％以内であれば判定成功とし、使用データの数に対する判定成功数の割合を判定成功率として算出した場合を例に挙げる。

【0078】

その結果、少なくとも第１特徴量および第２特徴量を指標として用いて類否判定を行なえば、例えば７０％以上の判定成功率が得られることを確認できた。このことは、色相値に関する特徴量（第１特徴量）および基板分布の変動係数に関する特徴量（第２特徴量）の寄与率が高いことを示している。

【0079】

また、特に、例えば、係数α＝１．０、係数β＝１．０、係数γ＝０．５といったように、第１特徴量、第２特徴量および第３特徴量のすべてを指標として用い、かつ、第３特徴量に比べて第１特徴量および第２特徴量を重視し、しかも第１特徴量に関する係数αと第２特徴量に関する係数βとが同等となるように設定すれば、８０％以上の高い判定成功率が得られることが確認できた。このことは，各特徴量における適切な係数を設定することが類似度判定の精度向上に寄与することを示唆している。

【0080】

以上のことは、本実施形態における類否判定の手法が、基板画像における類似度算出およびその算出結果に基づく類否判定に非常に有用であることを示している。

【0081】

＜本実施形態の効果＞
本実施形態で説明したデータ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法によれば、以下のような効果が得られる。

【0082】

本実施形態によれば、基板画像の画像データについての類否判定を、データ処理装置６での処理を通じて、高精度に行うことができる。したがって、過去のリサイクルの際に得られた過去データを活用して類否判定を行うことで、廃電子基板の含有金属（有価物）の推定結果に対する信頼性を高く担保することが実現可能となる。しかも、属人的な処理を廃しつつ、複数の廃電子基板の集合体（基板群）を一括して処理するので、リサイクルのために必要な処理を効率的に行うことが実現可能となる。
つまり、本実施形態によれば、廃電子基板の集合体について、その集合体の画像データと他の画像データとの類否判定を高精度かつ効率的に行うことが可能となり、これにより廃電子基板のリサイクルビジネスの成立に寄与することができる。

【0083】

＜変形例＞
以上に本発明の実施形態を説明したが、上述した開示内容は、本発明の例示的な実施形態を示すものである。すなわち、本発明の技術的範囲は、上述の例示的な実施形態に限定されるものではない。

【0084】

上述の実施形態では、第１特徴量がＨＳＶ表色系の色相値に関する特徴量である場合を例に挙げたが、本発明がこれに限定されることはない。すなわち、第１特徴量は、ＨＳＶ表色系の色相値以外の色情報に関する特徴量であってもよい。

【0085】

上述の実施形態では、第２特徴量および第３特徴量が廃電子基板の端子部（直線形状部分）に関するものである場合を例に挙げたが、本発明がこれに限定されることはない。すなわち、第２特徴量および第３特徴量は、廃電子基板における他の所定形状部分に関する特徴量であってもよい。

【0086】

上述の実施形態では、ロットＢの画像データの絞り込みを行う場合を例に挙げたが、本発明がこれに限定されることはない。すなわち、例えばロットＢの画像データのデータ量が少ない場合には、画像データの絞り込みを省略しても構わない。

【符号の説明】

【0087】

１…廃電子基板の集合体（基板群）、２…べルトコンベア、３…カメラ、４…資源量推定部、５…サーバ装置、６…データ処理装置、５１…データベース部、６１…データ取得部、６２…第１特徴量抽出部、６３…第２特徴量抽出部、６４…第３特徴量抽出部、６５…類否判定部、６６…評価情報出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】