(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-06-15
(45)【発行日】2022-06-23
(54)【発明の名称】皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラム
(51)【国際特許分類】
A01G 23/00 20060101AFI20220616BHJP
【FI】
A01G23/00 501Z
(21)【出願番号】P 2022041888
(22)【出願日】2022-03-16
【審査請求日】2022-03-16
【新規性喪失の例外の表示】特許法第30条第2項適用 公開日 令和3年4月30日、10月4・13・14日 公開した場所 株式会社日新 三重工場(三重県多気郡多気町河田1343番地1)、独立行政法人国立高等専門学校機構 旭川工業高等専門学校(北海道旭川市春光台2条2丁目1-6)
【早期審査対象出願】
(73)【特許権者】
【識別番号】391004447
【氏名又は名称】エノ産業株式会社
(74)【代理人】
【識別番号】100126402
【氏名又は名称】内島 裕
(72)【発明者】
【氏名】相坂 昌史
(72)【発明者】
【氏名】宜保 達哉
(72)【発明者】
【氏名】渡邊 日明
【審査官】大澤 元成
(56)【参考文献】
【文献】特許第4704804(JP,B1)
【文献】特開2010-253926(JP,A)
【文献】特開平1-299447(JP,A)
【文献】特開2014-215233(JP,A)
【文献】中国特許出願公開第113066079(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 23/00
B27L 1/00-11/08
G01N 33/46
G01N 21/892
(57)【特許請求の範囲】
【請求項1】
選別装置と情報処理装置とを備えた皮むきされた原木の選別システムであって、
前記選別装置は、
前記原木を送材する送材部と、
前記原木の原木画像を撮影するカメラ部と、を備え、
前記情報処理装置は、
前記原木画像を前記選別装置から取得する取得部と、
カメラキャリブレーションを実施するカメラキャリブレーション部と、
Haar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成するモデル生成部と、
前記原木画像から原木領域を推定して原木領域画像を抽出する原木領域抽出部と、
第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う検出部と、
重複検出された前記節を統合する重複検出統合部と、
検出された前記節の数、大きさおよび形状等を計測する大きさ等計測部と、
前記計測されたデータを出力する出力部と、を備え、
前記節の前記数、前記大きさおよび前記形状等に基づいて前記原木を選別する皮むきされた原木の選別システム。
【請求項2】
原木の原木画像を取得する取得部と、
Haar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成するモデル生成部と、
前記原木画像から原木領域を推定して原木領域画像を抽出する原木領域抽出部と、
第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う検出部と、
重複検出された前記節を統合する重複検出統合部と、
検出された前記節の数、大きさおよび形状等を計測する大きさ等計測部と、
前記計測されたデータを出力する出力部と、を備える情報処理装置。
【請求項3】
選別装置と情報処理装置とを利用した皮むきされた原木の選別方法であって、
前記選別装置が、
送材部により前記原木を送材する工程と、
カメラ部により前記原木の原木画像を撮影する工程と、を有し、
前記情報処理装置が、
取得部により前記原木画像を前記選別装置から取得する工程と、
カメラキャリブレーション部によりカメラキャリブレーションを実施する工程と、
モデル生成部によりHaar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成する工程と、
原木領域抽出部により前記原木画像から原木領域を推定して原木領域画像を抽出する工程と、
検出部により第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う工程と、
重複検出統合部により重複検出された前記節を統合する工程と、
大きさ等計測部により検出された前記節の数、大きさおよび形状等を計測する工程と、
出力部により前記計測されたデータを出力する工程と、を有し、
前記節の前記数、前記大きさおよび前記形状等に基づいて前記原木を選別する皮むきされた原木の選別方法。
【請求項4】
情報処理装置に、
取得部により原木の原木画像を取得する処理と、
モデル生成部によりHaar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成する処理と、
原木領域抽出部により前記原木画像から原木領域を推定して原木領域画像を抽出する処理と、
検出部により第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う処理と、
重複検出統合部により重複検出された前記節を統合する処理と、
大きさ等計測部により検出された前記節の数、大きさおよび形状等を計測する処理と、
出力部により前記計測されたデータを出力する処理と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮むきされた原木の節部分を認識して選別する技術に関する。
【背景技術】
【0002】
合板には、表板、裏板、中板があり、最表と最裏の表面にあたるものはJAS規格により、節の許容数等の基準が定められている。
従来、原木の径の値が小さいものが比例的(確率的)に節の存在する数も少ないと推定して、原木の選別を実施していた。
それでも実務上は、原木から切り出した単板のうち3割乃至4割は表板や裏板に使えないものが生じていた。例えば、従来は表板や裏板が100個必要な場合は、単板を130個製作して、30個程度は中板用にしか使えないものとして在庫となっていた。
また、そもそも、原木を積んでおく土場から、表板や裏板に適すると想定される原木を選別する作業にも1時間程度要していた。
そのため、原木あるいは、より原木に近い段階、すなわちリングバーカー等で外側の皮を一枚むいた皮むきされた原木の段階で表板や裏板に使えるものと使えないものを選別し、使えないものは別用途に利用すること等により、無駄防止、人力省力化、中板用の在庫の発生を抑制することが求められていた。
【0003】
ここで、原木から切り出した単板又はひき材等にある節の探査方法を提供する技術が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献1に開示されている単板又はひき材等の場合、節は、平板の大部分が白色となる中に点々と存在することとなり、画像認識において背景の白色から節の箇所を識別することは比較的容易である。
【0006】
しかし、皮むきされた原木、すなわち原木(丸太)をリングバーカー等で外側の皮を一枚むいたものは、毛羽立っており、立体的であり影も発生しており、そこには節ではないものが模様的に少なからず存在している。
したがって、従来、業界では皮むきされた原木は、外観上は節部分の識別が困難であり、X線を用いて識別する必要があり、可視光を用いた識別を商用レベルで実現することは不可能と言われていた。
特に、節部分は、見た目が多岐にわたり、種々のバリエーションがある。例えば、形は楕円や三角等もあり、色は濃い茶色や周りの色に近いものもあり、大きさも多様である。
【0007】
また、上記の特許文献1の背景技術として挙げられているような、一次元テレビカメラにより、木材の表面の節部分の欠陥を検出する技術では、単に濃淡度により判定しているに過ぎなく節を正確に検出できなく、実用には耐えないレベルのものであった。
【0008】
一方、人工知能(AI:Artificial Intelligence)、機械学習、ディープラーニング(深層学習)等は近年、著しく発展してきた技術分野であり、近時は、上記の特許文献1等の出願時の技術水準とはまったく異なるレベルにあるが、このようなAI関連技術を利用することで課題を解決することも試みられている。
ところが、単なる、CNN(Convolutional Neural Network,畳み込みニューラルネットワーク)等の汎用的なディープラーニングによる画像検出の方法では、階層を増やしても認識力が上がらず、節部分の識別は困難であった。
これは、節部分の見た目が多岐にわたることに起因していると考えられ、どのような特徴量を用いるべきか、そもそも機械学習できるのかも不明であり、これまで解決手法は見出されていなかった。
【0009】
本発明の目的は、皮むきされた原木の節部分を認識して用途に応じて選別することができる皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の皮むきされた原木の選別システムは、
選別装置と情報処理装置とを備えた皮むきされた原木の選別システムであって、
前記選別装置は、
前記原木を送材する送材部と、
前記原木の原木画像を撮影するカメラ部と、を備え、
前記情報処理装置は、
前記原木画像を前記選別装置から取得する取得部と、
カメラキャリブレーションを実施するカメラキャリブレーション部と、
Haar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成するモデル生成部と、
前記原木画像から原木領域を推定して原木領域画像を抽出する原木領域抽出部と、
第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う検出部と、
重複検出された前記節を統合する重複検出統合部と、
検出された前記節の数、大きさおよび形状等を計測する大きさ等計測部と、
前記計測されたデータを出力する出力部と、を備え、
前記節の前記数、前記大きさおよび前記形状等に基づいて前記原木を選別する。
【0011】
本発明の情報処理装置は、
原木の原木画像を取得する取得部と、
Haar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成するモデル生成部と、
前記原木画像から原木領域を推定して原木領域画像を抽出する原木領域抽出部と、
第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う検出部と、
重複検出された前記節を統合する重複検出統合部と、
検出された前記節の数、大きさおよび形状等を計測する大きさ等計測部と、
前記計測されたデータを出力する出力部と、を備える。
【0012】
本発明の皮むきされた原木の選別方法は、
選別装置と情報処理装置とを利用した皮むきされた原木の選別方法であって、
前記選別装置が、
送材部により前記原木を送材する工程と、
カメラ部により前記原木の原木画像を撮影する工程と、を有し、
前記情報処理装置が、
取得部により前記原木画像を前記選別装置から取得する工程と、
カメラキャリブレーション部によりカメラキャリブレーションを実施する工程と、
モデル生成部によりHaar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成する工程と、
原木領域抽出部により前記原木画像から原木領域を推定して原木領域画像を抽出する工程と、
検出部により第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う工程と、
重複検出統合部により重複検出された前記節を統合する工程と、
大きさ等計測部により検出された前記節の数、大きさおよび形状等を計測する工程と、
出力部により前記計測されたデータを出力する工程と、を有し、
前記節の前記数、前記大きさおよび前記形状等に基づいて前記原木を選別する。
【0013】
本発明のプログラムは、
情報処理装置に、
取得部により原木の原木画像を取得する処理と、
モデル生成部によりHaar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成する処理と、
原木領域抽出部により前記原木画像から原木領域を推定して原木領域画像を抽出する処理と、
検出部により第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う処理と、
重複検出統合部により重複検出された前記節を統合する処理と、
大きさ等計測部により検出された前記節の数、大きさおよび形状等を計測する処理と、
出力部により前記計測されたデータを出力する処理と、を実行させる。
【発明の効果】
【0014】
本発明によれば、皮むきされた原木の節部分を認識して選別することができる皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施の形態における皮むきされた原木の選別システムのシステム構成図である。
【
図2】本発明の実施の形態における皮むきされた原木の選別システムの選別装置のカメラ部の構成を示す図である。
【
図3】本発明の実施の形態における皮むきされた原木の選別システムの選別装置のカメラ部による撮像画像を示す図である。
【
図4】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置の機能ブロック図である。
【
図5】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図6】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図7】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図8】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図9】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図10】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図11】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図12】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図13】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図14】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図15】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図16】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図17】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図18】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図19】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図20】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図21】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図22】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図23】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図24】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図25】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における学習モデルの生成と活用を説明する図である。
【
図26】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における出力画面の一例を示す図である。
【
図27】本発明の実施の形態における皮むきされた原木の選別システムの処理の流れを示すフローチャートである。
【
図28】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における節の大きさ等計測を説明する図である。
【
図29】本発明の実施の形態における皮むきされた原木の選別システムの情報処理装置における原木の径等計測を説明する図である。
【発明を実施するための形態】
【0016】
本発明の実施の形態における皮むきされた原木の選別システムの構成を
図1を参照して説明する。
【0017】
図1に示すように、皮むきされた原木の選別システム1は、皮むきされた原木の選別装置(以下、単に「選別装置」という場合がある。)10と、情報処理装置20とが、インターネット等の所定のネットワークを介して接続され構成されている。この所定のネットワークは、LAN(Local Area Network)等であってもよく、また有線・無線等は問わない。
【0018】
選別装置10は、送材部11と後述するカメラ部12から構成されている。
選別装置10は、皮むきされた原木2(以下、単に「原木2」という場合がある。)を送材部(例えば、チェーンコンベヤ等である。)11にて送材しながら4方向からカメラ部12で画像を撮影する機能を有している。
【0019】
情報処理装置20は、CPU(Central Processing Unite)により制御される、ROM(Read Only Memory)・RAM(Random Access Memory)等の記憶手段を備え、公知の入出力手段を備える情報処理装置である。例えば、サーバ、パーソナル・コンピュータ、タブレット端末、スマートフォン等である。
【0020】
図2は、選別装置10のカメラ部12の構成を示す内部構造を一部省略した断面図である。
カメラ部12は、4個のカメラ121と、5個のライト122を含んで構成されている。略対角に90度ごとに設置した4個のカメラ121で通過する原木2を撮影するため死角無く原木2の全周方向の撮影が可能となっている。5個のライト122は、原木2になるべく影ができないように最適な位置に設置されている。
通過する原木2からは下方に木屑が落下するため、原木2の真下方向にカメラ121やライト122は設置すべきでなく、真下方向を避けて斜め方向に設置されている。
送材部11により原木2を送材しながらカメラ121で撮影する。すなわち、カメラ121の撮影可能対象領域(例えば、80cm四方)を原木2(長さ寸法:4mなど)が先端から順に後端まで通過していき、その結果、原木2の全体の画像が撮影されることとなる。これは、原木2を静止状態で一度に撮影すると長手方向の端の画像が歪み正確性に欠けることと画素数による精度の低下を回避するためである。
【0021】
図3に、選別装置10のカメラ部12の4個のカメラ121によるそれぞれの撮影画像を示す。原木2の全長にわたる4枚の画像が撮影され、短手方向(周方向)の端部の一部分が隣のカメラ121の画像の短手方向(周方向)の端部と重複するように撮影されているため、原木2の周方向の360度すべてを確認することができる。
図3に示す画像では、全体的には白っぽいが、ところどころに茶色っぽく着色した斑点模様などが確認できる。この着色箇所が節部分であるか否かを判定することが必要となる。
【0022】
図4に、情報処理装置20の機能ブロック図を示す。
情報処理装置20は、取得部201と、カメラキャリブレーション部202と、モデル生成部203と、原木領域抽出部204と、検出部205と、重複検出統合部206と、大きさ等計測部207と、原木の径等計測部208と、管理部209と、出力部210と、記憶部211を備えている。各部は、公知の入出力I/FやCPU等により、またHDD等により実現されてよい。情報処理装置20のいくつかの機能は所定のソフトウェアとして実現されてもよい。
【0023】
取得部201は、所定のネットワークに接続された各装置と通信を行い、学習データ(教師データ)や、選別装置10のカメラ部12から画像データ(実データ)などを取得する機能を有している。
【0024】
カメラキャリブレーション部202は、カメラキャリブレーションを実施し、選別装置10のカメラ部12の基礎行列と内部パラメータを用いることで、原木2の原木画像と当該カメラ部12の位置関係を推定する機能を有している。
【0025】
モデル生成部203は、人工知能(AI)モジュールにより、学習データに基づいて学習モデルを生成し、記憶部211に格納する。具体的には、ハールライク、バギング、カスケード等を用いて機械学習する。詳細は後述する。
また、その他の公知の機械学習等により学習モデルを生成することであってもよい。
【0026】
原木領域抽出部204は、原木2の原木画像から原木のみの領域を推定して、原木領域のみを抽出する機能を有している。
【0027】
検出部205は、カスケードによる節部分の検出を行う機能を有している。モデル生成部203が生成した学習モデルにより原木2の画像から節部分の検出を行う。
【0028】
重複検出統合部206は、一つの節に対する重複検出を統合する機能を有している。例えば、ガウシアンカーネルを用いたMean-Shiftを利用することであってもよい。
【0029】
大きさ等計測部207は、節の大きさや形状等を計測する機能を有している。
【0030】
原木の径等計測部208は、原木の径や長さや曲がりなどを計測する機能を有している。
【0031】
管理部209は、ユーザ管理等の種々の情報の管理を司る機能を有している。
【0032】
出力部210は、例えば、ディスプレイ等の表示機構やスピーカなどの音声出力機構により画像データ、音声データ等の各種データを出力する機能を有している。
【0033】
記憶部211は、情報処理装置20を機能させるためのプログラムや各種データを記憶する機能を有している。データベースには、各種のデータが紐付けられて記憶されている所定のテーブル等を有していることであってもよい。
【0034】
〔学習モデルの生成〕
図5乃至
図25を参照して、情報処理装置20における学習モデルの生成について説明する。
【0035】
〔事前準備〕
事前準備として、カメラキャリブレーションを実施する。
節の大きさや形状等を計測する際、選別装置10のカメラ部12で撮影した画像は二次元平面に投影されているため、ピクセル単位による形状計測は可能である。しかし、mm単位等の計測を実施するためには、二次元平面に投影された節が現実世界ではどのようになっているかを計算する必要がある。
上記を計算する方法がカメラキャリブレーションであり、カメラキャリブレーションを実施すると、選別装置10のカメラ部12と原木2の位置関係が原木画像から推定することができる。
カメラキャリブレーションとは、カメラの基礎行列と内部パラメータを推定することであり、基礎行列は、
図5に示すように表現される。なお、基礎行列は未知変数が多いため、特異値分解(SVD)を用いて基礎行列を解く。
また、上式のx、y、wは、撮影した画像の特定の点であり、既知でなければならない。そこで、事前に形状を手作業で計測したキャリブレーション用の物体を撮影することでx、y、wを得て、基礎行列を解くことが可能となる。
その後、カメラの基礎行列と内部パラメータを用いることで、原木画像と選別装置10のカメラ部12の位置関係を推定する。
すなわち、実際の原木2や節の大きさや形状等が計測可能となる。
【0036】
〔ハールライク(Haar-like)、バギング(RealAdaboost)、カスケード(Cascade)による節の学習〕
節の形には種々のバリエーションがあり、また、節は全体が茶色ではなく中に白っぽい箇所が存在しているものがあるため、節の形と明るさに基づく模様に主に着目することとなる。すなわち、節の輝度勾配情報に主に着目することとなる。
【0037】
〔ハールライク〕
Haar-likeとは、画像から得られる節の特徴を数値化する特徴量抽出手法である。
Haar-like特徴量は、特徴抽出器を画像の特定の位置に配置して、特徴抽出器の黒い領域と白い領域に該当する画像輝度値の差を特徴とする。
なお、特徴抽出器は様々な形状があり、最大10万種類の形状が存在する。
【0038】
〔バギング〕
バギング(以降、「Adaboost」と呼称することがある。)は、特徴量を学習して節のモデルを推定する手法である。
図6は、Adaboostの概要である。
まず、
図7で学習データ(実際は節の画像)の重要度Dを初期化する。
次に、
図8で各弱識別器の誤識別率を算出する。
その後、
図9で最小の誤識別率を保持する弱識別器の重要度αを算出する。
最後に、
図10で各学習データの重要度Dを更新する。
図11ですべてのαを算出するまで、各弱識別器の誤識別率算出と弱識別器の重要度α算出、各学習データの重要度Dの更新を繰り返すことで、節のモデルを構築する。
Adaboostにおける学習とは、すなわち、各弱識別器の重要度αを算出することである。
【0039】
〔カスケード(第一のカスケード)〕
ここでいうカスケード(第一のカスケード)は、上記のAdaboostの精度と処理速度を高めるための手法である。
カスケード(第一のカスケード)は、
図12のように、Adaboostを直列につなげて学習・認識する手法である。
学習の流れは
図13のとおりであり、Adaboostの学習方法と重複する部分も存在するため、重複しない部分を主に説明する。
図14でAdaboostでは、すべての弱識別器を利用して学習を行っているが、カスケード(第一のカスケード)は最適な弱識別器を選択して、その都度、強識別器に追加する。
なお、最適な弱識別器を選択する手法は、
図15のとおりであり、弱識別器を強識別器に追加した結果、精度が向上するか否かを検証することで最適な弱識別器を選択する。
図16で特定の条件を満たすとカスケード(第一のカスケード)による学習は完了する。このとき、直列につないだ強識別器は深い層になるほど弱識別器の数が多くなる。
【0040】
以上の方法により節の学習が完了する。得られた節の学習モデルは情報処理装置20の記憶部211に格納される。
【0041】
〔節検出と形状計測〕
以下では、事前準備(キャリブレーションと節の学習)を踏まえた節検出と形状計測について説明する。
【0042】
〔原木領域抽出〕
図17で節を検出する際、原木2のみの画像を用いることで誤検出を抑制することができる。そこで、原木領域のみを抽出する。
まず、原木画像をHSV表色系に変換し、木材の色に近い画素を白、それ以外を黒に変換する。
そして、つながっている白い画素から、写真上の面積が一番大きい物を取り出す。
このようにして、原木画像から原木2のみの領域を推定して、原木領域画像を抽出する。
【0043】
〔節検出〕
上記の「ハールライク(Haar-like)、バギング(RealAdaboost)、カスケード(Cascade)による節の学習」の手法による節の学習モデルを用いて検出する。
ここでは、カスケード(第二のカスケード)による節検出を行う。
まず、
図18でカスケード(第二のカスケード)の第1層目に検出対象の画像を入力する。検出対象の画像としては、1枚の原木画像から原木領域の一部を周知の手法により所定の矩形状等に切り取ったものが用いられてよい。なお、4枚の原木画像を統合した1枚の画像の一部を切り取ったものが用いられてもよい。
その際、
図19及び
図20の方法により学習モデルとの一致度を算出して、特定の値を超えた場合に、層を通過させる。
一方、
図21で一致度が特定の値を超えない場合は、画像は検出対象でないとして棄却し、処理を終える。
図22ですべての層を通過することができた場合、画像は検出対象(節)であると認識する。例えば、30個乃至50個の層を設けることであってもよい。
以上によって節を検出する。
なお、これ以上の大きさは節と認識するように情報処理装置20のユーザ側が任意に設定できる。例えば、50mm以上を節と認識するように設定することであってもよい。
原木2に複数の節が存在する場合は、それぞれ検出された節の数をカウントすることで合計の節の検出数がわかることとなる。
【0044】
〔重複検出統合〕
図23に節を検出した結果画像を示す。
節を検出する際、一つの節に対して重複して検出がなされることがある。この場合、節の検出数が誤って出力されてしまうため、必要に応じて重複検出された節を統合する処理を実施する。
重複検出の統合方法は、例えば、ガウシアンカーネルを用いたMean-Shiftを利用する。
【0045】
〔大きさ等計測〕
図24で「重複検出の統合」により得た検出窓(例えば、赤い四角形である。)の画像を、例えば、大津氏の適応的閾値処理を用いて二値化する。その後、例えば、鈴木氏のTopological structural analysis of digitized binary images by border followingを用いて輪郭抽出する。
そして、
図25で抽出した輪郭の各点のx、y座標群に最小二乗法等を適用することで楕円に近似する。
その後、周知の手法を適用して、楕円に近似された節の大きさや形状等を計測する。
【0046】
〔出力〕
例えば、
図26のように、情報処理装置20の出力部210に出力表示する。
なお、原木2は丸いので短手方向の端の補正が必要となるが、ここでは補正は前処理ではなく、後処理で実施している。すなわち、補正した画像で節検出はせずに出力段階で補正している。これは、前処理に相当な時間かかる一方で正確でなく精度がでないためデメリットの方が上回るためである。但し、節検出段階で補正した画像を用いて節検出を実施してもよい。
【0047】
次に、本発明の実施の形態に係る皮むきされた原木の選別システムの処理の流れを
図27のフローチャートを参照して詳細に説明する。
【0048】
まず、原木2が前工程(バーカーライン)より送材される。そして、選別装置10は、原木2をチェーンコンベヤ等の送材部11にて送材しながら4方向からカメラ部12により原木2の画像を撮影する(ステップS1)。
【0049】
次に、情報処理装置20の原木領域抽出部204は、取得部201により選別装置10のカメラ部12から取得した原木2の原木画像(データ)から原木2のみの領域を推定して、原木領域のみを抽出する(ステップS2)。なお、事前準備として情報処理装置20のカメラキャリブレーション部202は、カメラキャリブレーションを実施することであってもよい。
【0050】
そして、情報処理装置20の検出部205は、モデル生成部203が生成して記憶部211に格納されている学習モデルにより、原木2の画像に対して、カスケード(第二のカスケード)による節の検出を実施する(ステップS3)。
【0051】
そして、情報処理装置20の重複検出統合部206は、一つの節に対する重複検出を統合する(ステップS4)。例えば、ガウシアンカーネルを用いたMean-Shiftを利用することであってもよい。なお、この工程は任意である。
【0052】
そして、情報処理装置20の大きさ等計測部207は、検出された節の大きさや形状等の計測を実施する(ステップS5)。
図28に計測結果(計測データ)の一例を示す。この際、検出された節の数もカウントしてデータとして取得することであってもよい。
【0053】
そして、情報処理装置20の原木の径等計測部208は、取得部201により選別装置10のカメラ部12から取得した原木2の原木画像(データ)に基づき、原木2の径や長さや曲がりなどの計測を実施する(ステップS6)。
図29に計測結果(計測データ)の一例を示す。原木2の径の大きさ(例えば、20cm)、全長における曲がり具合などを計測する。なお、この工程は、上記のステップS3乃至ステップS5の工程と順不同であり、並列処理されることであってもよい。
【0054】
そして、情報処理装置20の出力部210は、ディスプレイ等の表示機構に各種データを出力して表示させる(ステップS7)。
図26に出力画面の一例を示す。情報処理装置20の管理部209が管理するユーザ情報等も反映させることであってもよい。
【0055】
その後、節の数等に基づいて合板の表面に使用できる原木2と使用できない原木2を選別して、それぞれ選別装置10の送材部11の不図示の指定したポケットへ原木2を落とす(手動でも情報処理装置20からの選別信号等に基づく自動制御でもよい。)。このようにして、例えば、節の数が多かったり節の大きさが大きい原木2とそうでない原木2、ひいては、合板の表面に使用できる原木2と使用できない原木2を分別して集めることができ、在庫も異なる場所で適切に保管等することができる。
【0056】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されてよい。例えば、各装置・システムの機能を実現するためのプログラムを各装置・システム等に読込ませて実行することにより各装置・システム等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるCD-ROMまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。
また、上述の各処理は、各装置のうち複数のものがそれぞれ組み合わせて実施されてもよく、その際に用いられている公知のデータ等は既知のデータベース等と連携してネットワークから取得したり、それらの取得されたデータが本システムのデータベースに格納されて利用されることであってもよい。すなわち、当業者が技術常識から理解実現可能な細部の記載は適宜省略されている場合もある。
また、各工程は順序が入れ替えられたり、同時並行的に実施されることであってもよい。
【符号の説明】
【0057】
1 皮むきされた原木の選別システム
10 選別装置
20 情報処理装置
【要約】
【課題】皮むきされた原木の節部分を認識して用途に応じて選別することができる皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラムを提供すること。
【解決手段】選別装置と情報処理装置とを備えた皮むきされた原木の選別システムであって、前記選別装置は、前記原木を送材する送材部と、前記原木の原木画像を撮影するカメラ部と、を備え、前記情報処理装置は、前記原木画像を前記選別装置から取得する取得部と、カメラキャリブレーションを実施するカメラキャリブレーション部と、Haar-likeにより前記原木画像から得られる節の特徴を数値化した特徴量を抽出し、Adaboostにより前記特徴量を学習して前記節の学習モデルを推定し、第一のカスケードにより前記Adaboostを直列につなげて学習して、前記節の前記学習モデルを生成するモデル生成部と、前記原木画像から原木領域を推定して原木領域画像を抽出する原木領域抽出部と、第二のカスケードにより、前記生成された前記学習モデルを用いて、前記原木領域画像に対して前記節の検出を行う検出部と、重複検出された前記節を統合する重複検出統合部と、検出された前記節の数、大きさおよび形状等を計測する大きさ等計測部と、前記計測されたデータを出力する出力部と、を備え、前記節の前記数、前記大きさおよび前記形状等に基づいて前記原木を選別する原木の選別システム。
【選択図】
図1