IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人秋田大学の特許一覧 ▶ DOWAホールディングス株式会社の特許一覧

特開2022-181664データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法
<>
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図1
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図2
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図3
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図4
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図5
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図6
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図7
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図8
  • 特開-データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181664
(43)【公開日】2022-12-08
(54)【発明の名称】データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221201BHJP
   G06T 7/45 20170101ALI20221201BHJP
   G01N 21/27 20060101ALI20221201BHJP
【FI】
G06T7/00 300F
G06T7/45 ZAB
G01N21/27 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021088721
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】504409543
【氏名又は名称】国立大学法人秋田大学
(71)【出願人】
【識別番号】000224798
【氏名又は名称】DOWAホールディングス株式会社
(74)【代理人】
【識別番号】100091362
【弁理士】
【氏名又は名称】阿仁屋 節雄
(74)【代理人】
【識別番号】100161034
【弁理士】
【氏名又は名称】奥山 知洋
(72)【発明者】
【氏名】景山 陽一
(72)【発明者】
【氏名】川村 茂
(72)【発明者】
【氏名】佐々木 一音
(72)【発明者】
【氏名】中村 悦郎
(72)【発明者】
【氏名】白井 光
(72)【発明者】
【氏名】石沢 千佳子
(72)【発明者】
【氏名】小川 啓太
(72)【発明者】
【氏名】関口 秀一
(72)【発明者】
【氏名】行田 毅
(72)【発明者】
【氏名】鳥井 岳人
(72)【発明者】
【氏名】多田 圭吾
【テーマコード(参考)】
2G059
5L096
【Fターム(参考)】
2G059AA02
2G059BB08
2G059BB15
2G059DD12
2G059EE02
2G059EE13
2G059FF01
2G059KK04
2G059MM01
2G059MM02
2G059MM10
2G059PP01
5L096CA02
5L096CA17
5L096EA39
5L096FA19
5L096FA46
5L096HA07
5L096JA03
5L096JA11
(57)【要約】
【課題】廃電子基板の集合体について、その集合体の画像データと過去データを構成する画像データとの類否判定を、高い信頼性で効率的に行えるようにすることで、廃電子基板のリサイクルビジネスの成立に寄与する技術を提供する。
【解決手段】廃電子基板の集合体の画像データを取得するデータ取得部61と、前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部65と、前記データ取得部61で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部66と、を備えるデータ処理装置6を構成する。
【選択図】図3
【特許請求の範囲】
【請求項1】
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
を備えるデータ処理装置。
【請求項2】
前記特徴量抽出部は、画像のテクスチャ解析によって当該画像の複雑度を抽出するように構成されている
請求項1に記載のデータ処理装置。
【請求項3】
前記特徴量抽出部は、前記複雑度の変動係数の算出結果を前記特徴量とする
請求項1または2に記載のデータ処理装置。
【請求項4】
前記特徴量抽出部が抽出する特徴量を基に前記画像データを基板領域部と背景領域部とに分別する領域分別部を備え、
前記類否判定部は、前記基板領域部を類否判定の対象とするように構成されている
請求項1から3のいずれか1項に記載のデータ処理装置。
【請求項5】
前記画像データについて、前記特徴量とは別種の特徴量を抽出する別種特徴量抽出部を備え、
前記類否判定部は、前記特徴量抽出部が抽出する特徴量に加えて、前記別種特徴量抽出部が抽出する別種の特徴量を指標に用いて、類否判定を行うように構成されている
請求項1から4のいずれか1項に記載のデータ処理装置。
【請求項6】
前記類否判定部は、類否判定にあたり、当該類否判定に用いる各特徴量に対して重み付けをするように構成されている
請求項5に記載のデータ処理装置。
【請求項7】
前記廃電子基板の集合体を撮像して前記画像データを得る撮像部と、
前記撮像部での撮像対象となる前記廃電子基板の集合体に光を照射する照明部と、を有し、
前記照明部は、外光を遮蔽しつつ前記廃電子基板の集合体に間接光を照射するように構成されている
請求項1から6のいずれか1項に記載のデータ処理装置。
【請求項8】
コンピュータを、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
として機能させるデータ処理プログラム。
【請求項9】
廃電子基板の集合体の画像データを取得するデータ取得工程と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出工程と、
前記データ取得工程で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定工程と、
を備える基板群類否判定方法。
【請求項10】
廃電子基板の集合体を撮像する画像撮像部と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定部と、
前記画像撮像部での撮像結果と前記資源量推定部での推定結果とを対応付けて記憶蓄積するデータベース部と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記資源量推定部での分析対象について前記データ取得部が取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得部が前記データベース部から取得する他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
前記類否判定部で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定部で分析対象となる前記集合体についての評価情報として出力する評価情報出力部と、
を備える基板群評価システム。
【請求項11】
廃電子基板の集合体を画像撮像部で撮像する画像撮像工程と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定工程と、
前記画像撮像工程での撮像結果と前記資源量推定工程での推定結果とを対応付けてデータベース部に記憶蓄積させるデータ記憶工程と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得工程と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出工程と、
前記資源量推定工程での分析対象について前記データ取得工程で取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得工程で前記データベース部から取得する他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定工程と、
前記類否判定工程で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定工程で分析対象となる前記集合体についての評価情報として出力する評価情報出力工程と、
を備える基板群評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法に関する。
【背景技術】
【0002】
電子機器を構成する電子基板には経済的価値の高い金属が含まれているため、近年では、廃棄された電子基板(以下「廃電子基板」という。)のリサイクルにより、その廃電子基板からの主要金属の抽出および製錬が行われている。
【0003】
廃電子基板のリサイクルに際しては、その廃電子基板に含有される金属資源量を予め把握することが非常に重要である。このことから、リサイクルの対象となる廃電子基板については、過去のリサイクルの際に得られた過去データを活用しつつ、廃電子基板の画像データと過去データとの類否判定を行って、その廃電子基板に含有される金属資源量を推定することが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-190881号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
廃電子基板のリサイクルは、複数の廃電子基板の集合体(基板群)を一括して処理することが一般的である。しかも、廃電子基板の集合体には、例えば拡張ボード系基板の基板群やCPU基板の基板群等といったように、複数種類のものが存在し得る。その場合であっても、廃電子基板の集合体の画像データと過去データとの類否判定について、高い信頼性が得られ、かつ、効率的に行えるようにすることが、廃電子基板のリサイクルをビジネスとして成立させるためには非常に重要である。
【0006】
本発明は、廃電子基板の集合体について、その集合体の画像データと過去データを構成する画像データとの類否判定を、高い信頼性で効率的に行えるようにすることで、廃電子基板のリサイクルビジネスの成立に寄与する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
を備えるデータ処理装置である。
【0008】
本発明の第2の態様は、
前記特徴量抽出部は、画像のテクスチャ解析によって当該画像の複雑度を抽出するように構成されている
第1の態様に記載のデータ処理装置である。
【0009】
本発明の第3の態様は、
前記特徴量抽出部は、前記複雑度の変動係数の算出結果を前記特徴量とする
第1または第2の態様に記載のデータ処理装置である。
【0010】
本発明の第4の態様は、
前記特徴量抽出部が抽出する特徴量を基に前記画像データを基板領域部と背景領域部とに分別する領域分別部を備え、
前記類否判定部は、前記基板領域部を類否判定の対象とするように構成されている
第1から第3の態様のいずれか1態様に記載のデータ処理装置である。
【0011】
本発明の第5の態様は、
前記画像データについて、前記特徴量とは別種の特徴量を抽出する別種特徴量抽出部を備え、
前記類否判定部は、前記特徴量抽出部が抽出する特徴量に加えて、前記別種特徴量抽出部が抽出する別種の特徴量を指標に用いて、類否判定を行うように構成されている
第1から第4のいずれか1態様に記載のデータ処理装置である。
【0012】
本発明の第6の態様は、
前記類否判定部は、類否判定にあたり、当該類否判定に用いる各特徴量に対して重み付けをするように構成されている
第5の態様に記載のデータ処理装置である。
【0013】
本発明の第7の態様は、
前記廃電子基板の集合体を撮像して前記画像データを得る撮像部と、
前記撮像部での撮像対象となる前記廃電子基板の集合体に光を照射する照明部と、を有し、
前記照明部は、外光を遮蔽しつつ前記廃電子基板の集合体に間接光を照射するように構成されている
第1から第6のいずれか1態様に記載のデータ処理装置である。
【0014】
本発明の第8の態様は、
コンピュータを、
廃電子基板の集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記データ取得部で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
として機能させるデータ処理プログラムである。
【0015】
本発明の第9の態様は、
廃電子基板の集合体の画像データを取得するデータ取得工程と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出工程と、
前記データ取得工程で取得する一つの画像データと他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定工程と、
を備える基板群類否判定方法である。
【0016】
本発明の第10の態様は、
廃電子基板の集合体を撮像する画像撮像部と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定部と、
前記画像撮像部での撮像結果と前記資源量推定部での推定結果とを対応付けて記憶蓄積するデータベース部と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得部と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出部と、
前記資源量推定部での分析対象について前記データ取得部が取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得部が前記データベース部から取得する他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定部と、
前記類否判定部で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定部で分析対象となる前記集合体についての評価情報として出力する評価情報出力部と、
を備える基板群評価システムである。
【0017】
本発明の第11の態様は、
廃電子基板の集合体を画像撮像部で撮像する画像撮像工程と、
前記集合体を分析して当該集合体に含有される金属資源量を推定する資源量推定工程と、
前記画像撮像工程での撮像結果と前記資源量推定工程での推定結果とを対応付けてデータベース部に記憶蓄積させるデータ記憶工程と、
前記画像撮像部または前記データベース部から前記集合体の画像データを取得するデータ取得工程と、
前記画像データにおける画像の複雑度を抽出して当該画像データの特徴量とする特徴量抽出工程と、
前記資源量推定工程での分析対象について前記データ取得工程で取得する一つの画像データと、当該一つの画像データとの対比のために前記データ取得工程で前記データベース部から取得する他の画像データとについて、前記特徴量を指標に用いて、類否判定を行う類否判定工程と、
前記類否判定工程で前記一つの画像データと類似度が高いと判定された画像データの対応情報を前記データベース部から取り出して、前記資源量推定工程で分析対象となる前記集合体についての評価情報として出力する評価情報出力工程と、
を備える基板群評価方法である。
【発明の効果】
【0018】
本発明によれば、廃電子基板の集合体について、その集合体の画像データと他の画像データとの類否判定を高い信頼性で効率的に行うことが可能となり、これにより廃電子基板のリサイクルビジネスの成立に寄与することができる。
【図面の簡単な説明】
【0019】
図1】廃電子基板のリサイクル処理における分析処理の手順の一例を示すフロー図である。
図2】本発明に係る基板群評価システムのシステム構成を示す模式図である。
図3】本発明に係る基板群評価システムの機能構成の一例を示すブロック図である。
図4】本発明に係る基板群類否判定方法の手順の一例を示すフロー図である。
図5】本発明に係る基板群類否判定方法で取り扱う基板画像の一具体例を示す説明図である。
図6】本発明に係る基板群類否判定方法で取り扱う基板画像における基板領域部と背景領域部の例を示す説明図である。
図7】本発明に係る基板群類否判定方法における第4特徴量の抽出手順の一具体例を示す説明図(その1)である。
図8】本発明に係る基板群類否判定方法における第4特徴量の抽出手順の一具体例を示す説明図(その2)である。
図9】本発明に係る基板群類否判定方法で取り扱う基板画像および複雑度ヒートマップの一具体例を示す説明図である。
【発明を実施するための形態】
【0020】
以下、図面に基づき、本発明に係るデータ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法について説明する。
【0021】
<リサイクル処理の概要>
ここで、まず、廃電子基板のリサイクル処理の概要を説明する。
【0022】
廃電子基板のリサイクル処理は、非鉄金属製錬所にて廃電子基板からの主要金属の抽出および製錬を行う処理とすることができ、その廃電子基板の含有金属量等を把握するための分析処理を含む。
処理の対象となる廃電子基板は、プリント基板上に電子部品を搭載したもので、金、銀、銅、白金、パラジウム等の金属資源を含有するものである。具体的には、拡張ボード系基板、マザーボード系基板、CPU基板、メモリ基板、ネットワーク基板、サーバ基板類、フィンガーボード、HDD基板、携帯電話機の基板等が例示できる。
なお、リサイクル処理にあたり、廃電子基板は、同種のもの(例えば、搭載する電子部品の構成が同一・類似のもの)が一定量で纏められた集合体とし、その集合体を一つの単位(以下、一つの単位のことを「ロット」という。)として取り扱われる。したがって、異種の廃電子基板は、別ロットとして取り扱われる。
【0023】
リサイクル処理における分析処理は、例えば、以下に述べる手順で行われる。
図1は、廃電子基板のリサイクル処理における分析処理の手順の一例を示すフロー図である。
分析処理を行う際には、はじめに、対象ロットとなる廃電子基板の集合体を撮像して、その集合体の画像(以下、「基板画像」ともいう。)を取得する(ステップ101、以下ステップを「S」と略す。)。次いで、対象ロットの廃電子基板を破砕して、その一部をサンプルとし(S102)、そのサンプルの成分分析を行う(S103)。これにより、廃電子基板の金属含有比率が得られる。金属含有比率とは、所定量(例えば、重さ1t)の廃電子基板あたりに含まれると推定される主要金属の割合のことをいう。つまり、サンプルの成分分析によって、廃電子基板の集合体に含有される金属資源量が推定されることになる。
廃電子基板の適切な分析処理手順を定める際には、事前に廃電子基板の金属含有比率を把握できることが望ましい。そこで、図中における破線の枠中に示すように、分析処理手順を選定する際に(S106)、対象とする廃電子基板の基板画像を用いて、過去に取り扱った類似の基板の情報を参照することにより(S104)、金属含有比率をより正確に推定することが可能になる(S105)。
【0024】
以上のような手順の分析処理は、廃電子基板の集合体であるロット毎に行われる。つまり、一つのロットを構成する複数の廃電子基板の集合体(基板群)を一括して処理することになる。したがって、効率的な処理を実現する上では、非常に有効である。
ただし、上述した分析処理において、基板画像等についての類否判定を作業者の主観判定で行うと、属人的な処理となることから、その処理の信頼性を高く担保するという点で好ましくない。また、比較対象となるデータ量が膨大であると、作業者にとっての負担が大きく、多くの時間を要してしまうことになるため、効率的な処理を実現する上でも好ましくない。
このことから、本実施形態においては、リサイクル処理における分析処理にあたり、廃電子基板の集合体についての類否判定の自動化を可能にするアルゴリズムを用いる。これにより、本実施形態では、廃電子基板の集合体に含有される金属資源量の推定について、その推定結果に対する信頼性を高く担保するとともに、そのために必要な処理を効率的に行うことを可能にしているのである。
【0025】
<システム構成例>
次に、本実施形態において廃電子基板の集合体の類否判定の自動化を可能にするために用いられるシステムの構成例を説明する。ここで例に挙げるシステムは、本発明に係る「基板群評価システム」の一具体例に相当するものである。
図2は、本実施形態で例に挙げる基板群評価システムのシステム構成(ハードウエア構成)を示す模式図である。図3は、図2に示す基板群評価システムにおける機能構成(ソフトウエア構成)の一例を示すブロック図である。
【0026】
(全体構成)
図2に示すように、本実施形態で例に挙げるシステムは、対象ロットとなる廃電子基板の集合体(以下、「基板群」ともいう。)1を受け入れて搬送するべルトコンベア2と、べルトコンベア2上を流れる基板群1を撮影して基板画像を得る撮像部としてのカメラ3と、べルトコンベア2から受け取った基板群1を成分分析して金属含有比率を求めることで当該基板群1に含有される金属資源量を推定する資源量推定部4と、コンピュータ装置によって構成されるサーバ装置5およびデータ処理装置6と、カメラ3の撮像対象となる基板群1に光を照射する照明部7と、を備えている。なお、サーバ装置5およびデータ処理装置6は、それぞれが別体で構成されたものであってもよいし、それぞれが一体で構成されたものであってもよい。
【0027】
これらのうち、べルトコンベア2、カメラ3および資源量推定部4については、公知技術を利用して構成されたものであればよく、ここではその詳細な説明を省略する。
また、本実施形態では、ベルトコンベア2上の基板群1をカメラ3で撮影するシステム構成を例に挙げているが、これに限定されることはなく、他のシステム構成であっても構わない。例えば、カメラ3は、ベルトコンベア2による搬送前の基板群1を撮影するものであってもよいし、ベルトコンベア2以外の搬送具によって搬送される基板群1を撮影するものであってもよいし、あるいは所定箇所に載置される基板群1を撮影するものであってもよい。さらに、カメラ3は、後述するデータ取得部61やデータベース部51等に画像データを提供可能なものであれば、システム外に設置されたもの(例えば、システムの遠隔地に設置された外部カメラ)を用いてもよい。
【0028】
(サーバ装置)
図3に示すように、サーバ装置5は、過去のリサイクル処理の際にシステム内で得られた過去データを記憶蓄積するデータベース部51を有している。データベース部51が記憶蓄積するデータには、カメラ3で得られた基板画像の画像データと、資源量推定部4による金属資源量の推定結果に関するデータ(以下、単に「資源量データ」という。)と、が含まれる。
【0029】
基板画像の画像データは、システム内で処理したロット毎に記憶蓄積されている。ロット毎の各画像データには、各画像データを識別するための識別情報が関連付けられている。識別情報としては、例えば、各ロットにおける基板種類名(品名等)、ロット番号、処理日時等に関する情報が挙げられるが、識別を可能にするものであれば特に限定されるものではない。また、識別情報の形式についても、例えば、テキスト形式、二次元または一次元のバーコード形式等が挙げられるが、認識が可能であれば特に限定されるものではない。
【0030】
資源量推定部4での推定結果である資源量データは、画像データと対応付けられて、システム内で処理したロット毎に記憶蓄積されている。つまり、データベース部51は、画像データと資源量データとを対応付けて、ロット毎に記憶蓄積しているのである。
【0031】
(データ処理装置)
データ処理装置6は、本発明に係る「データ処理装置」の一具体例に相当するもので、システム全体の動作を制御するためにCPU、ROM、RAM等の組み合わせからなる演算部、フラッシュメモリやHDD等の記憶部といったハードウエア資源を備えて構成されている。つまり、データ処理装置6は、コンピュータ装置としてのハードウエア資源を備えて構成されており、記憶部に記憶された所定プログラムを演算部が実行することにより、そのプログラム(ソフトウエア)とハードウエア資源とが協働して、システム全体の動作を制御するようになっている。
【0032】
また、データ処理装置6は、演算部が所定プログラムを実行することにより、少なくとも、データ取得部61、第1特徴量抽出部62、第2特徴量抽出部63、第3特徴量抽出部64、第4特徴量抽出部65、類否判定部66および評価情報出力部67として機能するようになっている。
【0033】
データ取得部61は、カメラ3またはデータベース部51から基板画像の画像データを取得する機能である。具体的には、データ取得部61は、資源量推定部4での分析対象となる対象ロットの基板画像の画像データをカメラ3から取得するとともに、その比較対象となる基板画像の画像データをデータベース部51から取得するようになっている。なお、取得する画像データのデータ形式は、特に限定されるものではない。
【0034】
第1特徴量抽出部62は、データ取得部61が取得する画像データについて、その画像データの色情報に関する特徴量を第1特徴量として抽出する機能である。つまり、第1特徴量抽出部62は、後述する第4特徴量抽出部65とは別種の特徴量を抽出するもので、本発明に係る「別種特徴量抽出部」の具体例の一つに相当するものである。なお、第1特徴量については、詳細を後述する。
【0035】
第2特徴量抽出部63は、データ取得部61が取得する画像データについて、その画像データの基板分布の変動係数に関する特徴量を第2特徴量として抽出する機能である。つまり、第2特徴量抽出部63は、後述する第4特徴量抽出部65とは別種の特徴量を抽出するもので、本発明に係る「別種特徴量抽出部」の具体例の他の一つに相当するものである。なお、第2特徴量については、詳細を後述する。
【0036】
第3特徴量抽出部64は、データ取得部61が取得する画像データについて、その画像データにおける廃電子基板の所定形状部分の量に関する特徴量を第3特徴量として抽出する機能である。つまり、第3特徴量抽出部64は、後述する第4特徴量抽出部65とは別種の特徴量を抽出するもので、本発明に係る「別種特徴量抽出部」の具体例のさらに他の一つに相当するものである。なお、第3特徴量については、詳細を後述する。
【0037】
第4特徴量抽出部65は、データ取得部61が取得する画像データについて、その画像データによって特定される画像の複雑度を抽出して当該画像データの第4特徴量とする機能である。つまり、第4特徴量抽出部65は、本発明に係る「特徴量抽出部」の一具体例に相当するものである。なお、第4特徴量については、詳細を後述する。
【0038】
また、第4特徴量抽出部65は、領域分別部65aとしての機能を有している。領域分別部65aは、第4特徴量抽出部65が抽出する第4特徴量を基に、データ取得部61が取得する画像データを基板領域部と背景領域部とに分別する機能である。なお、基板領域部と背景領域部については、詳細を後述する。
【0039】
類否判定部66は、資源量推定部4での分析対象となる対象ロットについてデータ取得部61がカメラ3から取得する一つの画像データと、当該一つの画像データとの対比のためにデータ取得部61がデータベース部51から取得する他の画像データとについて、類否判定を行う機能である。類否判定部66では、少なくとも第4特徴量を、好ましくは第4特徴量に加えて第1特徴量、第2特徴量および第3特徴量のそれぞれを、指標に用いて類否判定を行うようになっている。また、類否判定部66は、画像データの識別情報に基づいて、類否判定の対象となる画像データの絞り込みを行うようにもなっている。
【0040】
評価情報出力部67は、類否判定部66での類否判定の結果を受けて、その類否判定の結果から特定される各種情報を、対象ロットの基板群についての評価情報として出力する機能である。評価情報出力部67が出力する評価情報は、資源量推定部4での成分分析結果を承認するプロセスのために供される情報である。具体的には、評価情報には、例えば、対象ロットについての一つの画像データと類似度が高いと類否判定部66で判定された他の画像データと、類似度が高い画像データに対応する資源量データと、が含まれる。これらの情報は、評価情報出力部67によってデータベース部51から取り出されて、評価情報を構成することになる。
【0041】
(プログラム)
以上のような機能構成のデータ処理装置6において、上述した各部61~67としての機能は、当該データ処理装置6を構成する演算部が所定プログラムを実行することによって実現される。つまり、各部61~67としての機能を実現する所定プログラムは、本発明に係る「データ処理プログラム」の一実施形態に相当する。
【0042】
その場合に、各機能を実現する所定プログラムは、コンピュータ装置としてのデータ処理装置6にインストール可能なものであれば、当該コンピュータ装置で読み取り可能な記録媒体(例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等)に格納されて提供されるものであってもよいし、インターネットや専用回線等のネットワークを通じて外部から提供されるものであってもよい。
【0043】
(照明部)
照明部7は、カメラ3の撮像対象となる基板群1に光を照射するものであるが、そのために、カメラ3およびべルトコンベア2の一部を覆うように配される遮光膜7aと、遮光膜7aによって覆われる空間内に配される反射板7bと、反射板7bに向けて光を出射する照明ランプ7cと、を備えている。このような遮光膜7a、反射板7bおよび照明ランプ7cを備えることで、照明部7は、外光を遮蔽しつつ、べルトコンベア2上の基板群1に対して、間接光を照射するように構成されている。
【0044】
<基板群類否判定の手順>
次に、上述した構成のシステムにおける処理動作例について説明する。ここでは、主として、データ処理装置6により基板群の類否判定を行う手順を具体的に説明する。ここで例に挙げる手順は、本発明に係る「基板群類否判定方法」の一具体例に相当する。なお、「基板群類否判定方法」の手順は、本発明に係る「基板群評価方法」の手順の一部を構成する。
【0045】
図4は、本実施形態で例に挙げる基板群類否判定方法の手順を示すフロー図である。
【0046】
(データ取得)
図4に示すように、基板群の類否判定にあたっては、まず、ベルトコンベア2上に供給された対象ロット(以下「入力ロット」という。)の基板群1の基板画像をカメラ3で撮像し、その撮像結果である画像データをデータ取得部61がカメラ3から取得する(S201)。なお、基板画像の画像データには、例えばカメラ3での撮像時に、その画像データに固有の識別情報が関連付けられることが好ましい。
【0047】
このとき、入力ロットの基板群1は、照明部7の遮光膜7aによって覆われる空間内に搬送され、その空間内でカメラ3によって撮像される。その空間内では、照明ランプ7cからの出射光が反射板7bで反射され、その反射光(すなわち間接光)がベルトコンベア2上の基板群1に到達する。したがって、ベルトコンベア2上の基板群1には、遮光膜7aの遮蔽によって、外光の影響が及ぶことはない。また、ベルトコンベア2上の基板群1は、直接光の局所的な集中が生じることなく、間接光によって撮像領域の全域にわたって均一な光が照射されている状態で、カメラ3によって撮像される。さらに具体的には、ベルトコンベア2上において、中央付近と端縁付近とで明るさ(輝度情報)に相違が生じるのを抑制しつつ、影となってしまう部分が生じてしまうのを解消した状態で、カメラ3によって撮像される。また、直接光では光の集中箇所で白飛び等が生じ、その部分の色情報がとれないおそれがあるが、間接光とすることで、これを防止することができる。つまり、カメラ3は、撮像タイミングや環境条件等の影響を排除しつつ、常に略一定となる安定的な条件下において、ベルトコンベア2上の基板群1の基板画像を撮像することができる。
【0048】
図5は、基板画像の一具体例を示したものである。図5(a)の例は、廃電子基板の種類が拡張ボード系基板であり、複数枚の拡張ボード系基板が重なり合うように纏められて基板群1を構成している場合を示している。また、図5(b)の例は、廃電子基板の種類がCPU基板であり、複数枚のCPU基板が重なり合うように纏められて基板群1を構成している場合を示している。
このように、基板群1の基板画像は、1種の廃電子基板の集合体を示すものであるが、廃電子基板の種類によって異なる画像となる。また、基板群1の基板画像は、同種の廃電子基板であっても、ベルトコンベア2上での重なり合いの状態や位置等が不定なものでありロット毎に異なることから、ロットが異なれば同一の画像とはならない。
【0049】
入力ロットの画像データを取得すると、図4に示すように、データ取得部61は、データベース部51にアクセスして、そのデータベース部51に記憶蓄積されている処理済ロットの画像データ(以下「データベースの画像データ」という。)を取得する(S202)。
【0050】
データベースの画像データは、過去データを構成するものであるから、データ量が膨大であり、また入力ロットとは別種類の廃電子基板のものを含んでいることが考えられる。そのため、データベースの画像データについては、類否判定部66が類否判定の対象とする画像データの絞り込みを行うようにしてもよい。具体的には、例えば、類否判定部66は、入力ロットの画像データの識別情報と、データベースの画像データの識別情報とに着目し、それぞれの間の類似度を算出する。類似度は、例えば識別情報が基板品名を特定するテキスト情報であればレーベンシュタイン距離によって算出するといったように、公知技術を用いて算出すればよい。そして、それぞれの間の類似度を算出したら、その類似度を予め設定された閾値と比較して、閾値以上の類似度を有するロットの画像データのみを類否判定の対象とする。このように、画像データの絞り込みを行えば、画像データの絞り込みを行わない場合に比べて、処理効率の向上が図れるようになる。
【0051】
(第1特徴量の抽出)
その後は、入力ロットの画像データおよびデータベースの画像データ(複数ロットの場合は各ロットの画像データ毎、以下同様とする。)のそれぞれについて、第1特徴量抽出部62が第1特徴量を抽出する(S203)。さらに詳しくは、第1特徴量抽出部62は、第1特徴量として、画像データの色情報に関する特徴量を算出する。基板画像は、その基板画像を構成する廃電子基板の種類に応じて、画像中に包含される色の種類が異なる。そのため、色情報は、基板画像を特徴付ける上で、非常に有用であると考えられる。
【0052】
第1特徴量抽出部62は、色情報に関する特徴量(すなわち第1特徴量)として、HSV表色系の色相値に関する特徴量を算出することができる。HSV表色系は、H(色相)、S(彩度)、V(明度)の三成分によって表現され、RGB表色系と比較して、色の違いを人間の感覚に近い形で捉えることができる。特に、HSV表色系の色相値に着目した特徴量によれば、カメラ3での撮像時における照明条件等に対するロバスト性が得られ、作業者の目視判定に近い判定結果を得ることが可能となる。
【0053】
色相値に関する特徴量の算出については、特許文献1に開示された具体的な手法を利用して行えばよい。
【0054】
これにより、第1特徴量抽出部62は、入力ロットの画像データの第1特徴量(fci)およびデータベースの画像データの第1特徴量(fcdi)のそれぞれを抽出することになる。
【0055】
(第2特徴量の抽出)
また、入力ロットの画像データおよびデータベースの画像データのそれぞれについては、第2特徴量抽出部63が第2特徴量を抽出する(S204)。さらに詳しくは、第2特徴量抽出部63は、第2特徴量として、基板分布の変動係数に関する特徴量を算出する。基板分布は、廃電子基板の所定形状部分の画像中における分布に基づいて特定することができる。廃電子基板の所定形状部分としては、当該廃電子基板の端子部に相当する直線形状部分が挙げられる。つまり、第2特徴量抽出部63は、基板分布の変動係数に関する特徴量(すなわち第2特徴量)として、廃電子基板の端子部(直線形状部分)の分布状況を変動係数によって表した特徴量を算出する。
【0056】
廃電子基板は、一般に、電極端子が列状に配置された端子部を有しており、その配置は廃電子基板の種類によって異なる。そのため、このような端子部(直線形状部分)の画像中における分布の状況を数値化することは、基板画像を特徴付ける上で、非常に有用であると考えられる。しかも、廃電子基板には、端子部以外にも多様な部品が搭載されているが、端子部(直線形状部分)のみに着目することで、処理の効率化が図れるようになる。
【0057】
廃電子基板の端子部(直線形状部分)の分布状況を変動係数によって表した特徴量の算出については、特許文献1に開示された具体的な手法を利用して行えばよい。
【0058】
これにより、第2特徴量抽出部63は、入力ロットの画像データの第2特徴量(f)およびデータベースの画像データの第2特徴量(fvd)のそれぞれを抽出することになる。
【0059】
(第3特徴量の抽出)
また、入力ロットの画像データおよびデータベースの画像データのそれぞれについては、第3特徴量抽出部64が第3特徴量を抽出する(S205)。さらに詳しくは、第3特徴量抽出部64は、第3特徴量として、廃電子基板の所定形状部分の量に関する特徴量を算出する。所定形状部分は、第2特徴量の場合と同様に、廃電子基板の端子部に相当する直線形状部分である。所定形状部分の量としては、直線形状部分の本数が挙げられる。つまり、第3特徴量抽出部64は、廃電子基板の所定形状部分の量に関する特徴量(すなわち第3特徴量)として、廃電子基板の端子部(直線形状部分)の本数(すなわち、画像中の直線本数)に関する特徴量を算出する。
【0060】
基板画像における廃電子基板は、ロット毎に各基板の重なり合いの状態や位置等が異なる。そのため、画像中の直線本数を数値化して、端子部の存在数を推定可能にすれば、各基板の重なり合い具合や重なり量等を把握できるようになり、基板画像を特徴付ける上で、非常に有用であると考えられる。
【0061】
画像中の直線本数に関する特徴量の算出は、特許文献1に開示された具体的な手法を利用して行えばよい。
【0062】
これにより、第3特徴量抽出部64は、入力ロットの画像データの第3特徴量(f)およびデータベースの画像データの第3特徴量(fdL)のそれぞれを抽出することになる。
【0063】
(第4特徴量の抽出)
また、入力ロットの画像データおよびデータベースの画像データのそれぞれについては、第4特徴量抽出部65が第4特徴量を抽出する(S206)。さらに詳しくは、第4特徴量抽出部65は、第4特徴量として、廃電子基板の基板画像の複雑度に関する特徴量を求める。
【0064】
基板画像の複雑度(Dissimilarity)は、画像の均一性を表す指標であり、0.00~1.00の値をとる。具体的には、画像を構成する各画素値の値が不均一で、各値の差が大きいほど、当該画像の複雑度は、高い値となる。一方、各画素値の値が均一で、濃淡の差が小さい画像であれば、当該画像の複雑度は、低い値となる。
【0065】
例えば、図5(a)に示す拡張ボード系基板の基板群については、重なり合う各拡張ボード系基板が比較的大型であるため、その基板群の基板画像の複雑度が低くなる傾向にある。これに対して、図5(b)に示すCPU基板の基板群については、重なり合う各CPU基板が比較的小型であるため、その基板群の基板画像の複雑度が高くなる傾向にある。このように、廃電子基板の集合体を取り扱う場合、その基板画像は、当該廃電子基板の種類や重なり具合等に応じて、画像の複雑度が異なるものとなる。そのため、画像の複雑度は、基板画像を特徴付ける上で、非常に有用であると考えられる。
【0066】
画像の複雑度は、当該画像のテクスチャ解析によって算出することができる。よって、第4特徴量抽出部65は、画像のテクスチャ解析によって当該画像の複雑度を抽出するように構成されている。
テクスチャ解析(Texture Analysis)は、画像の空間パターンを数値化して画像分類を定量的に行う手法である。具体的には、例えば、グレーレベルの同時生起行列(GLCM:Gray-Level Co-Occurrence Matrix)を生成し、その行列から統計情報を抽出することによって、画像のテクスチャの特徴を記述することができる。なお、テクスチャ解析およびテクスチャ解析による複雑度抽出の具体的な手法については、公知技術を利用して行えばよく、ここではその詳細な説明を省略する。
【0067】
このような画像の複雑度について、第4特徴量抽出部65は、複雑度の変動係数を算出し、その算出結果を第4特徴量とする。複雑度の変動係数を第4特徴量とすることで、その第4特徴量からは、基板画像における廃電子基板の大きさや散らばり具合等を判別し得るようになる。具体的には、基板画像において、例えば、小さい廃電子基板が多数写っている場合には変動係数の値は大きくなる傾向にあり、大きい廃電子基板が少数枚写っている場合には変動係数の値は小さくなる傾向にある。また、例えば、基板画像内に満遍なく廃電子基板が散らばっている場合には変動係数の値は大きくなる傾向にあり、ある箇所に廃電子基板が纏まっている場合には変動係数の値は小さくなる傾向にある。なお、複雑度の変動係数の算出の具体的な手法については、詳細を後述する。
【0068】
ここで、第4特徴量抽出部65による第4特徴量の具体的な抽出手順について、さらに詳しく説明する。
【0069】
第4特徴量の抽出にあたり、第4特徴量抽出部65は、まず、領域分別部65aによる基板領域部と背景領域部との分別を行う。
図6は、基板領域部と背景領域部の例を示す説明図である。
図例のように、カメラ3によって撮像される基板画像には、重なり合う廃電子基板が写っている領域である基板領域部と、廃電子基板が存在しておらず、その背景となるベルトコンベア2の表面が写っている領域である背景(ベルトコンベア)領域部と、が混在している。このような基板画像において、背景領域部は、廃電子基板の大きさや散らばり具合等の影響が及ばない部分、すなわち第4特徴量の抽出に際してのノイズ成分となる部分に相当する。したがって、第4特徴量の抽出にあたっては、背景領域部を排除して、基板領域部のみを抽出対象領域とすることが望ましい。
そこで、領域分別部65aは、入力ロットの画像データおよびデータベースの画像データのそれぞれについて、基板領域部と背景領域部との分別を行う。基板領域部と背景領域部との分別は、以下に説明するように、第4特徴量抽出部65が抽出する基板画像の複雑度に基づいて行えばよい。
【0070】
図7は、第4特徴量である基板画像の複雑度の抽出手順の一具体例を示す説明図(その1)である。
例えば、図7(a)に示す基板画像の画像データを取得した場合に、第4特徴量抽出部65は、その基板画像を、図7(b)に示すように、任意の数で縦方向、横方向に分割する。分割数は、特に限定されるものではないが、分割数が少ないと基板領域部と背景領域部との分別の分解能が減る一方で、分割数が多いと処理負荷の増大を招き得ることから、分割数を例えば48×48とすることが考えられる。これにより、基板画像は、例えば48×48個の複数のセルに分割されることになる。
【0071】
基板画像を複数セルに分割したら、続いて、第4特徴量抽出部65は、各セルのそれぞれについて、画像の複雑度を算出する。画像の複雑度は、既述のように、当該画像のテクスチャ解析によって算出することができる。これにより、各セルについては、画像の複雑度として、0.00~1.00のいずれかの値が算出される。
【0072】
そして、第4特徴量抽出部65は、各セルについて画像の複雑度を算出したら、その算出結果を、H(色相)、S(彩度)、V(明度)の三成分によって表現されるHSV表色系の色相値に対応させる。これにより、図7(c)に示す複雑度ヒートマップが作成されることになる。複雑度ヒートマップは、セル毎の複雑度に応じて、各セルが異なる色相値によって表現されるものである。
【0073】
その後、第4特徴量抽出部65は、作成した複雑度ヒートマップについて、各セルの複雑度の値を、予め設定された閾値と対比させる。閾値は、シミュレーション等の経験則に基づき、基板領域部と背景領域部とを良好に分別できる値に設定されているものとする。そして、第4特徴量抽出部65は、各セルを閾値以上のセルと閾値未満のセルとに分別し、閾値以上のセルを白画素値に置換し、閾値未満のセルを黒画素値に置換する二値化処理を行う。これにより、図7(d)に示す基板領域マスク画像が作成されることになる。基板領域マスク画像は、基板領域部が白画素値で表され、背景領域部が黒画素値で表されるものである。このような基板領域マスク画像における白画素値の部分に着目することで、基板画像は、基板領域部と背景領域部とに分別され、背景領域部を排除して基板領域部のみを抽出対象領域とすることが可能となる。
【0074】
基板領域マスク画像を作成したら、続いて、第4特徴量抽出部65は、複雑度の変動係数を算出する。
図8は、第4特徴量である基板画像の複雑度の抽出手順の一具体例を示す説明図(その2)である。
図例のように、第4特徴量抽出部65は、複雑度の変動係数の算出を、基板領域マスク画像中に設定した仮想格子を利用して行う。具体的には、基板領域マスク画像に対して、例えば、図8(a)に示すように、当該基板領域マスク画像の一端(例えば、左端)から所定間隔(例えば、5画素間隔)で仮想的に垂線を設定し、各垂線上に存在する白画素の画素数を算出する。また、例えば、図8(b)に示すように、当該基板領域マスク画像の一端(例えば、上端)から所定間隔(例えば、5画素間隔)で仮想的に水平線を設定し、各水平線上に存在する白画素の画素数を算出する。そして、各垂線上および各水平線上に存在する白画素の画素数を算出したら、白画素の分布の分散値(標準偏差)を白画素数の平均値で除する演算式を含む所定の演算式を用いて、変動係数を算出する。具体的には、例えば、以下の(1)式を用いて、変動係数fを算出する。
【0075】
【数1】
【0076】
なお、(1)式において、nは垂線または水平線の数、xはk番目の垂線上の白画素の画素数、オーバーライン付きのxは垂線上の白画素の平均値、yはk番目の水平線上の白画素の画素数、オーバーライン付きのyは水平線上の白画素の平均値をそれぞれ表している。
【0077】
このようにして得られた白画素の分布状況の変動係数fsを、基板画像における基板領域部の複雑度の変動係数に関する特徴量、すなわち本実施形態における第4特徴量とする。この第4特徴量からは、基板画像における廃電子基板の大きさや散らばり具合等を判別し得るようになる。具体的には、基板画像において、例えば、小さい廃電子基板が多数写っている場合には変動係数の値は大きくなる傾向にあり、大きい廃電子基板が少数枚写っている場合には変動係数の値は小さくなる傾向にある。また、例えば、基板画像内に満遍なく廃電子基板が散らばっている場合には変動係数の値は大きくなる傾向にあり、ある箇所に廃電子基板が纏まっている場合には変動係数の値は小さくなる傾向にある。
【0078】
以上のような第4特徴量を、第4特徴量抽出部65は、入力ロットの画像データとデータベースの画像データのそれぞれについて抽出する。つまり、第4特徴量抽出部65は、入力ロットの画像データの第4特徴量(f)およびデータベースの画像データの第4特徴量(fsd)のそれぞれを抽出することになる。
【0079】
図9は、基板画像およびこれに対応する複雑度ヒートマップの一具体例を示したものである。図9(a)は廃電子基板が拡張ボード系基板である場合の基板画像および複雑度ヒートマップ、図9(b)は廃電子基板がマザーボード系基板である場合の基板画像および複雑度ヒートマップ、図9(c)は廃電子基板がCPU基板である場合の基板画像および複雑度ヒートマップ、図9(d)は廃電子基板が携帯電話機である場合の基板画像および複雑度ヒートマップ、をそれぞれ示している。なお、図9(a)~(d)のいずれも、図中左側が基板画像であり、図中右側が複雑度ヒートマップである。
図9(a)~(d)によれば、廃電子基板の種類によって、複雑度ヒートマップに明らかな相違が表れていることがわかる。具体的には、例えば、図9(a)または(b)のように、サイズの大きな基板が幾つか写っている基板画像については、複雑度ヒートマップにおいて複雑度が高い箇所が纏まって分布しているのに対して、図9(c)または(d)のように、サイズの小さな基板が多数写っている基板画像については、複雑度ヒートマップにおいて複雑度が高い箇所が散らばって分布している。このように、廃電子基板の種類によって、基板画像の複雑度の分布に差が生じていることが明らかである。
したがって、画像の複雑度の変動係数を算出して第4特徴量とすることは、基板画像における廃電子基板の大きさや散らばり具合等を判別して、その廃電子基板の種類を分類する上で、非常に有用である。廃電子基板の種類を分類することにより、入力ロットの基板群1について、その有用性を予め把握することが可能となる。
【0080】
(類否判定)
第1特徴量、第2特徴量、第3特徴量および第4特徴量の抽出後、図4に示すように、類否判定部66は、入力ロットの画像データとデータベースの画像データとについて、それぞれの間の類否判定を行う。このとき、類否判定部66は、少なくとも第4特徴量を、好ましくは第4特徴量に加えて第1特徴量、第2特徴量および第3特徴量を、指標として用い、入力ロットの画像データとデータベースの画像データとの画像類似度を算出することによって、それぞれの間の類否判定を行う(S207)。画像類似度の算出は、例えば、以下のような手順で行う。
【0081】
まず、類否判定部66は、第1特徴量について、入力ロットの画像データとデータベースの画像データとの特徴類似度Fを算出する。具体的には、入力ロットの画像データの第1特徴量をfci、データベースの画像データの第1特徴量をfcdi、第1特徴量の算出に用いた色相区分の領域数を24とした場合に、以下の(2)式を用いて、特徴類似度Fを算出する。なお、(2)式におけるi=1の場合のfci、fcdiは、色相環を24段階に分割した場合の色相区分1に分類される画像データの比率である。
【0082】
【数2】
【0083】
また、類否判定部66は、第2特徴量について、入力ロットの画像データとデータベースの画像データとの特徴類似度Fを算出する。具体的には、入力ロットの画像データの第2特徴量をf、データベースの画像データの第2特徴量をfvdとした場合に、以下の(3)式を用いて、特徴類似度Fを算出する。
【0084】
【数3】
【0085】
また、類否判定部66は、第3特徴量について、入力ロットの画像データとデータベースの画像データとの特徴類似度Fを算出する。具体的には、入力ロットの画像データの第3特徴量をf、データベースの画像データの第3特徴量をfdLとした場合に、以下の(4)式を用いて、特徴類似度Fを算出する。
【0086】
【数4】
【0087】
さらに、類否判定部66は、第4特徴量について、入力ロットの画像データとデータベースの画像データとの特徴類似度Fを算出する。具体的には、入力ロットの画像データの第4特徴量をf、データベースの画像データの第4特徴量をfsdとした場合に、以下の(5)式を用いて、特徴類似度Fを算出する。
【0088】
【数5】
【0089】
そして、類否判定部66は、4種類の特徴類似度(F,F,F,F)の算出結果を基に、以下の(6)式を用いて、入力ロットの画像データとデータベースの画像データとの画像類似度Sを算出する。
【0090】
【数6】
【0091】
なお、(6)式において、係数αは第1特徴量に関する重み付け係数、係数βは第2特徴量に関する重み付け係数、係数γは第3特徴量に関する重み付け係数、係数δは第4特徴量に関する重み付け係数をそれぞれ表している。つまり、類否判定部66は、画像類似度Sの算出にあたり、類否判定の指標として用いる第1特徴量から第4特徴量までの各特徴量に対して、重み付けをするようになっている。
【0092】
各係数α,β,γ,δは、それぞれの大きさのバランスが特に限定されるものではなく、実験結果やシミュレーション結果等に応じて、適宜設定されたものであればよい。例えば、第4特徴量を類否判定の指標とし、第1特徴量、第2特徴量および第3特徴量については考慮しない場合であれば、係数α,β,γが「0」に設定されることになる。
【0093】
以上のような手順を経ることで、類否判定部66は、入力ロットの画像データとデータベースの画像データとについて、それぞれの間の画像類似度Sを算出する。なお、データベースの画像データが複数ロット分存在する場合、類否判定部66は、複数ロットのそれぞれについて、入力ロットの画像データに対する画像類似度Sを算出することになる。
【0094】
(評価情報の出力)
類否判定部66が画像類似度Sを算出すると、評価情報出力部67は、その算出結果を含む各種情報を、入力ロットについての評価情報として出力する。出力は、例えば、画像表示や印刷出力等の公知の手法で行えばよい。この出力結果を参照することで、システム利用者は、類否判定の結果を含む入力ロットについての評価情報の内容を把握することができる。
【0095】
このような評価情報の出力によって、その評価結果を入力ロットの基板群に含有される金属資源量の推定結果に付随させることができる。これにより、入力ロットについての金属資源量の推定結果に対する信頼性を高く担保することが実現可能となる。
【0096】
(具体的な算出例)
ここで、画像類似度Sの算出結果の具体例について、簡単に説明する。ここでは、入力ロットの画像データと、複数ロットのデータベースの画像データとについて、それぞれの間の画像類似度Sを算出し、その算出結果に基づいて、複数ロットのデータベースの画像データのうち画像類似度Sの高さが上位2位までのものを抽出し、抽出したロットの画像データについての資源量データに基づき所定金属(例えば、金)の含有比率の値を認識し、その金属含有比率が入力ロットについての金属含有比率の±10%以内であれば判定成功とし、使用データの数に対する判定成功数の割合を判定成功率として算出した場合を例に挙げる。
【0097】
その結果、少なくとも第4特徴量を指標として用いて類否判定を行なえば、例えば74%以上の判定成功率が得られることを確認できた。
また、特に、例えば、係数α=0.8、係数β=1.0、係数γ=0.4、係数δ=0.6といったように、第1特徴量、第2特徴量、第3特徴量および第4特徴量のすべてを指標として用い、かつ、各特徴量に対して重み付けを行えば、86.3%の高い判定成功率が得られることが確認できた。ちなみに、第1特徴量、第2特徴量および第3特徴量を指標として用い第4特徴量を用いなかった場合の判定成功率は84.2%であり、これに比べると、第4特徴量を指標として用いることで、判定成功率が2.1%上昇している。
このことは、画像の複雑度に関する特徴量(第4特徴量)が、類似度判定の精度向上に寄与することを示している。また、各特徴量の重み付け係数を適切に設定すれば、各特徴量の寄与の度合いを可変させることが可能となるので、更なる類似度判定の精度向上が期待できる。
【0098】
以上のことは、本実施形態における類否判定の手法が、基板画像における類似度算出およびその算出結果に基づく類否判定に非常に有用であることを示している。
【0099】
<本実施形態の効果>
本実施形態で説明したデータ処理装置、データ処理プログラム、基板群類否判定方法、基板群評価システムおよび基板群評価方法によれば、以下のような効果が得られる。
【0100】
(a)本実施形態によれば、基板画像の画像データについての類否判定を、基板画像の複雑度を抽出して第4特徴量とし、その第4特徴量を指標に用いて行う。したがって、廃電子基板の集合体(基板群)を一括して処理する場合に、処理対象となる基板群として複数種類のものが存在しても、それぞれの種類や基板同士の重なり具合等によって複雑度が異なることから、類否判定について高い信頼性が得られる。しかも、基板の種類や重なり具合等に応じた複雑度の相違を利用することで、その相違が直ちに類否判定の結果に反映されることになり、類否判定の効率化も図れるようになる。
つまり、本実施形態によれば、廃電子基板の集合体について、その集合体の画像データと他の画像データとの類否判定を、高精度かつ効率的に行うことが可能となり、これにより廃電子基板のリサイクルビジネスの成立に寄与することができる。
【0101】
(b)本実施形態によれば、第4特徴量の抽出にあたり、画像のテクスチャ解析によって当該画像の複雑度を抽出する。したがって、画像の複雑度を定量的に抽出することができ、基板画像の画像データの類否判定を高い信頼性で効率的に行う上で非常に有用なものとなる。
【0102】
(c)本実施形態によれば、基板画像の複雑度の変動係数を算出し、その算出結果を第4特徴量とする。したがって、第4特徴量については、複雑度の分布状況も反映され、基板の散らばり具合の差についても明らかになるので、基板画像の画像データの類否判定を高い信頼性で効率的に行う上で非常に有用なものとなる。
【0103】
(d)本実施形態によれば、基板画像の画像データについての類否判定に先立ち、領域分別部65aが基板画像について基板領域部と背景領域部との分別を行う。したがって、類否判定の指標となる第4特徴量の抽出に際して、ノイズ成分となる背景領域部を排除して、基板領域部のみを第4特徴量の抽出対象領域とすることが可能となるので、基板画像の画像データの類否判定を高い信頼性で効率的に行う上で非常に有用なものとなる。
しかも、本実施形態によれば、基板領域部と背景領域部との分別を、基板画像の複雑度に基づいて行っている。したがって、基板領域部と背景領域部との分別を、高い信頼性で効率的に行うことができる。
【0104】
(e)本実施形態によれば、基板画像の画像データについての類否判定を、第4特徴量に加えて、第4特徴量とは別種の特徴量である第1特徴量、第2特徴量および第3特徴量を指標に用いて行う。第1特徴量、第2特徴量および第3特徴量は、それぞれが第4特徴量とは全く異なる種類のものであるから、第4特徴量の補完的な役割を果たすことが可能となる。したがって、第1特徴量、第2特徴量および第3特徴量の追加で、更なる類否判定への信頼性向上が図れるようになる。
【0105】
(f)本実施形態によれば、基板画像の画像データについての類否判定にあたり、第1特徴量~第4特徴量のそれぞれを指標として用いるが、その際に各特徴量に対して重み付けをするようになっている。したがって、重み付けの度合いによってどの特徴量を重視するかを調整して、各特徴量の寄与の度合いを可変させることが可能となるので、更なる類似度判定の精度向上が期待できる。
【0106】
(g)本実施形態によれば、基板群1の基板画像を撮像する際に、その基板群1に対して照明部7が光を照射するが、照明部7は、外光を遮蔽しつつ基板群1に間接光を照射するように構成されている。したがって、基板群1は、外光の影響が及ぶことなく、また、間接光によって撮像領域の全域にわたって均一な光が照射されている状態で、撮像されることになる。つまり、本実施形態によれば、基板群1の基板画像について、撮像タイミングや環境条件等の影響を排除しつつ、常に略一定となる安定的な条件下において、撮像することができる。このことは、安定的な条件下での画像データの取得により、更なる類否判定への信頼性向上を図る上で非常に有用である。
【0107】
<変形例>
以上に本発明の実施形態を説明したが、上述した開示内容は、本発明の例示的な実施形態を示すものである。すなわち、本発明の技術的範囲は、上述の例示的な実施形態に限定されるものではない。
【0108】
上述の実施形態では、主として第1特徴量~第4特徴量の全てを指標として用いる場合を例に挙げたが、本発明がこれに限定されることはない。すなわち、指標として用いる特徴量は、少なくとも第4特徴量であればよい。また、好ましくは第4特徴量とは別種の特徴量を指標とすることもできるが、その場合であっても、第1特徴量~第3特徴量の全てを用いる必要はなく、これらのうちの少なくとも一つを用いるようにしてもよい。
【符号の説明】
【0109】
1…廃電子基板の集合体(基板群)、2…べルトコンベア、3…カメラ、4…資源量推定部、5…サーバ装置、6…データ処理装置、7…照明部、51…データベース部、61…データ取得部、62…第1特徴量抽出部、63…第2特徴量抽出部、64…第3特徴量抽出部、65…第4特徴量抽出部、66…類否判定部、67…評価情報出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9