(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-05-23
(45)【発行日】2022-05-31
(54)【発明の名称】ボール外観認識装置及びボール外観認識方法
(51)【国際特許分類】
G01N 21/89 20060101AFI20220524BHJP
【FI】
G01N21/89 Z
(21)【出願番号】P 2022035519
(22)【出願日】2022-03-08
【審査請求日】2022-03-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】511037447
【氏名又は名称】株式会社GPRO
(73)【特許権者】
【識別番号】507023016
【氏名又は名称】日本機材株式会社
(73)【特許権者】
【識別番号】522092516
【氏名又は名称】井上株式会社
(74)【代理人】
【識別番号】100170025
【氏名又は名称】福島 一
(72)【発明者】
【氏名】徐 率
(72)【発明者】
【氏名】前田 浩俊
(72)【発明者】
【氏名】廣瀬 太知
【審査官】大河原 綾乃
(56)【参考文献】
【文献】登録実用新案第3039134(JP,U)
【文献】特開2013-34496(JP,A)
【文献】特開平9-292349(JP,A)
【文献】中国実用新案第204086164(CN,U)
【文献】米国特許出願公開第2005/0200837(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
B07C 5/342
A63B 47/00 - A63B 47/04
G06T 1/00 - G06T 1/40
G06T 7/00 - G06T 7/90
(57)【特許請求の範囲】
【請求項1】
所定の面を転がるボールを含む撮影画像を撮影する撮影制御部と、
前記ボールに対応する学習用ボール画像と、前記ボールの正規品を示す学習用必須画像と、前記ボールの傷又は汚れを含む学習用不良画像とを予め学習させた人工知能を用いて、前記撮影画像に含まれるボール画像と、必須画像と、不良画像とを検出する検出制御部と、
前記必須画像が前記ボール画像の内部に存在する場合に、前記必須画像の存在回数を必須画像認識数として積算する必須画像積算制御部と、
前記不良画像が前記ボール画像の内部に存在する場合に、前記不良画像の存在回数を不良画像認識数として積算する不良画像積算制御部と、
前記ボール画像から、前記ボールの表面色を示す色情報を算出する色情報算出制御部と、
前記ボール画像が、前記撮影画像内に設けられた所定の認識ラインを通過するまで、前記撮影画像の撮影と、前記ボール画像の検出と、前記必須画像認識数の積算と、前記不良画像認識数の積算と、前記色情報の算出とを繰り返す繰り返し制御部と、
前記繰り返しが完了すると、前記必須画像認識数と、前記不良画像認識数と、前記色情報とに基づいて、前記ボール画像のボールを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別する判別制御部と、
を備えるボール外観認識装置。
【請求項2】
前記判別制御部は、前記必須画像認識数が1以上で、前記不良画像認識数が第一の閾値未満で、且つ、前記色情報が、前記ボールの表面色が正常色を示す第二の閾値を用いた色範囲内である第一の判別条件の場合、前記ボール画像のボールを良品ボールとして判別し、前記必須画像認識数が1以上で、前記不良画像認識数が第一の閾値以上で、且つ、前記色情報が前記色範囲内である第二の判別条件の場合、前記ボール画像のボールを不良品ボールとして判別し、前記必須画像認識数が1未満、又は、前記色情報が前記色範囲外である第三の判別条件の場合、前記ボール画像のボールを異種品ボールとして判別する、
請求項1に記載のボール外観認識装置。
【請求項3】
前記必須画像積算制御部は、前記必須画像が検出された場合、前記検出された必須画像の中心座標と、当該必須画像の縦横サイズと、前記検出されたボール画像の中心座標と、当該ボール画像の縦横サイズとに基づいて、前記必須画像が前記ボール画像の内部に存在するか否かを判定し、
前記不良画像積算制御部は、前記不良画像が検出された場合、前記検出された不良画像の中心座標と、当該不良画像の縦横サイズと、前記検出されたボール画像の中心座標と、当該ボール画像の縦横サイズとに基づいて、前記不良画像が前記ボール画像の内部に存在するか否かを判定する、
請求項1又は2に記載のボール外観認識装置。
【請求項4】
所定の面を転がるボールを含む撮影画像を連続的に撮影する撮影制御工程と、
前記ボールに対応する学習用ボール画像と、前記ボールの正規品を示す学習用必須画像と、前記ボールの傷又は汚れを含む学習用不良画像とを予め学習させた人工知能を用いて、前記撮影画像に含まれるボール画像と、必須画像と、不良画像とを検出する検出制御工程と、
前記必須画像が前記ボール画像の内部に存在する場合に、前記必須画像の存在回数を必須画像認識数として積算する必須画像積算制御工程と、
前記不良画像が前記ボール画像の内部に存在する場合に、前記不良画像の存在回数を不良画像認識数として積算する不良画像積算制御工程と、
前記ボール画像から、前記ボールの表面色を示す色情報を算出する色情報算出制御工程と、
前記ボール画像が、前記撮影画像内に設けられた所定の認識ラインを通過するまで、前記撮影画像の撮影と、前記ボール画像の検出と、前記必須画像認識数の積算と、前記不良画像認識数の積算と、前記色情報の算出とを繰り返す繰り返し制御工程と、
前記繰り返しが完了すると、前記必須画像認識数と、前記不良画像認識数と、前記色情報とに基づいて、前記ボール画像のボールを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別する判別制御工程と、
を備えるボール外観認識装置のボール外観認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ボール外観認識装置及びボール外観認識方法に関する。
【背景技術】
【0002】
ゴルフボール等のボールをカメラで撮影して、ボールの良品又は不良品を認定して選別する技術が存在する。例えば、特開平6-54931号公報(特許文献1)には、暗室と、第1ストッパーと、第2ストッパーと、光照射装置と、色識別装置と、シャッターと、を有するゴルフボール装置が開示されている。暗室は、前方に向かって下り傾斜した傾斜底壁及び入口・出口を有する。第1ストッパーは、暗室内に設けられ、可動し、第2ストッパーは、第1ストッパーの前方に位置するようにして暗室内に設けられ、可動する。光照射装置は、第2ストッパーの近傍に位置するようにして暗室内に設けられたルミネッセンス作用を起こさせる光を照射し、色識別装置は、第2ストッパーの近傍に位置するようにして暗室内に設けられる。シャッターは、第2ストッパーの前方の傾斜底壁に形成されたボール落下開口を開閉する。ゴルフボール選別装置は、シャッターが色識別装置からの色別信号を受けて開閉するようになされている。これにより、ルミネッセンス作用により、ゴルフゴールを効率良く、確実に選別することが出来るとしている。
【0003】
又、実用新案登録第3039134号公報(特許文献2)には、ゴルフボールをゴルファが打席で打って芝生上に飛んで行き、後に回収され、洗浄、乾燥後に再び打席に配球されるゴルフ練習場の設備が開示されている。この設備は、選別機本体の入口より出口に向けてセレクトガイドを傾斜して設置し、ガイドの前方部をV字形状溝やU字形状溝とし、底部を切欠いた長穴に爪を有する回転体を設置して、溝上からゴルフボールを中央部ガイドに送り出す。この設備は、ボールの汚れや傷などあるボールを光学機により検知し、あらかじめ設定された評価条件によって、除去機が操作されて、ボールが別口ガイド側で排除される。これにより、ゴルフ練習場におけるゴルフボールの使用サイクルによって生ずる汚れや傷などを再び打席に出現させることなく、回収、自動洗浄後にて、光学的な検知によって、一定の判断のもとより、機械的、且つ、自動的に選別することが出来、選別作業者の仕事量を軽減し、個人差のない一定の判断規準を守ることが出来るとしている。
【0004】
又、特開2004-230325号公報(特許文献3)には、衝撃板と、振動検出センサと、比較部と、振動特性記憶部と、選別部と、を備えるゴルフボール選別装置が開示されている。衝撃板は、被検ゴルフボールが衝突し、振動検出センサは、衝撃板の振動情報を検出する。比較部は、振動情報を基準ゴルフボールの振動特性と比較し、振動特性記憶部は、振動特性を記憶し、選別部は、比較の結果に基づき、被検ゴルフボールを選別する。これにより、衝撃板の振動を検出してゴルフボールを選別可能であり、周囲環境の騒音等の影響を受けることなくゴルフボールを高精度に選別することが出来るとしている。
【0005】
又、特開2013-34496号公報(特許文献4)には、光照射手段と、撮影手段と、分割手段と、濃度計測手段と、傷判定手段と、良品/不良品判定手段と、選別手段と、を備えるゴルフボール選別機が開示されている。光照射手段は、光をゴルフボールに照射し、撮影手段は、ゴルフボールを撮影する。分割手段は、撮影手段で取得されたゴルフボールの画像データの検査領域を複数の画素からなるセグメント単位で分割し、濃度計測手段は、セグメント単位で濃度を計測する。傷判定手段は、セグメント毎に濃度計測値に基づいて傷の有無を判定し、良品/不良品判定手段は、検査領域での傷の個数をカウントし、個数に基づいて当該ゴルフボールの良品/不良品を判定する。選別手段は、良品/不良品判定手段からの判定結果を受け取って、当該ゴルフボールを選別する。これにより、再利用すべきものと廃棄すべきものとを信頼性高く自動的に選別出来るとしている。
【0006】
又、ボールの画像から精度高く良品を判別する技術も存在する。例えば、特開平9-292349号公報(特許文献5)には、表面に多数のディンプルを有するゴルフボール表面に生じた不良部分を検出する外観検査方法が開示されている。この方法では、ゴルフボールの所定箇所に光を照射し、この状態で該ゴルフボールを一方向に一定速度で回転させながら、所定箇所をボールの回転方向と直交する線上に沿ってラインセンサカメラで撮影し、該ラインセンサカメラにより取り込んだ画像データから二次元画像を得、該二次元画像上に現れるボールの回転方向の輝度変化を所定単位毎の変化量に変換し、得られた変化量データをディンプル部における変化量と不良部分における変化量との間にしきい値を設定して2値化処理することにより、不良部分の有無を検出する。これにより、ゴルフボールのディンプル部と不良部分とを確実かつ正確に識別して、不良部分のみを正確に検出することが可能であり、更に、第2の検査方法によれば、ディンプル内に刻印が施されたゴルフボールであっても、この刻印と不良部分とを確実に識別して不良部分のみを正確に検出することが出来るとしている。
【0007】
又、特開2002-767号(特許文献6)には、成形後のゴルフボールのシーム上に存在するバリの除去のために、シームが所定位置にあるか否かを判定するシーム位置判定装置が開示されている。この装置は、ゴルフボールを撮影するカメラと演算手段とを備えており、カメラによって撮影された画像の所定領域におけるバリの有無を演算手段が判定するように構成される。これにより、判定精度が高く、不良率が低減されるとしている。
【先行技術文献】
【特許文献】
【0008】
【文献】特開平6-54931号公報
【文献】実用新案登録第3039134号公報
【文献】特開2004-230325号公報
【文献】特開2013-34496号公報
【文献】特開平9-292349号公報
【文献】特開2002-767号
【発明の概要】
【発明が解決しようとする課題】
【0009】
ゴルフ練習場やゴルフ場では、プレイヤーにより打ち出された様々なゴルフボールがボール収集場所に集められている。集められたゴルフボールには、ゴルフ練習場等が指定した特定のロゴを有する良品のゴルフボールの他に、プレイヤーの練習により傷を有するゴルフボールや長年の使用により色褪せたゴルフボール、プレイヤーが持ってきた他のロゴのゴルフボール等の不良品や異種品のゴルフボールが混在している。
【0010】
ここで、ゴルフ練習場等が、不良品や異種品のゴルフボールをプレイヤーに再利用すると、クレームの対象となるため、現在、ボール収集場所では、作業員が、集められてきたゴルフボールを目視で確認し、不良品や異種品のゴルフボールを破棄し、良品のゴルフボールを再利用するというゴルフボールの選別作業を行っている。
【0011】
しかしながら、このようなゴルフボールの選別作業は、作業員にとって時間と手間が掛かるという課題がある。又、ゴルフボールの選別は、主に、作業員の目視に頼っているため、不良品や異種品のゴルフボールの誤認識や誤選別が生じる可能性があり、多種多様なゴルフボールの選別の精度に限界があるという課題がある。
【0012】
特許文献1に記載の技術では、ルミネッセンス作用を前提とするため、良品のゴルフボールにルミネッセンス作用を有する塗料を被覆する必要があるという課題がある。特許文献2に記載の技術では、光学機によりゴルフボールの汚れや傷を検知するものの、光学機による検知は、ゴルフボールの一部しか行われず、ゴルフボールの他部に汚れ等が存在する場合、そのゴルフボールの汚れ等を適切に検出することが出来ないという課題がある。特許文献3に記載の技術では、基準ゴルフボールの振動特性によりゴルフボールを選別するため、ゴルフボールの表面の光学的な検知をすることが出来ないという課題がある。
【0013】
又、特許文献4に記載の技術では、ゴルフボールの画像データに基づいて、ゴルフボールの傷の有無を判定するため、ゴルフボールのロゴを判定することは出来ないという課題がある。特許文献5に記載の技術では、ゴルフボールの画像データに基づいて、ゴルフボール表面の不良部分を検出するため、上述と同様に、ゴルフボールのロゴを判定することは出来ないという課題がある。更に、特許文献6に記載の技術では、ゴルフボールの画像データに基づいて、ゴルフボールのシーム上のバリを判定するため、上述と同様に、ゴルフボールのロゴを判定することは出来ないという課題がある。
【0014】
そこで、本発明は、上述の課題を解決するためになされたものであり、転がるボールのボール画像に基づいて、様々なボールの種類の判別を精度高く行うことが可能なボール外観認識装置及びボール外観認識方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明に係るボール外観認識装置は、撮影制御部と、検出制御部と、必須画像積算制御部と、不良画像積算制御部と、色情報算出制御部と、繰り返し制御部と、判別制御部と、を備える。撮影制御部は、所定の面を転がるボールを含む撮影画像を撮影する。検出制御部は、前記ボールに対応する学習用ボール画像と、前記ボールの正規品を示す学習用必須画像と、前記ボールの傷又は汚れを含む学習用不良画像とを予め学習させた人工知能を用いて、前記撮影画像に含まれるボール画像と、必須画像と、不良画像とを検出する。必須画像積算制御部は、前記必須画像が前記ボール画像の内部に存在する場合に、前記必須画像の存在回数を必須画像認識数として積算する。不良画像積算制御部は、前記不良画像が前記ボール画像の内部に存在する場合に、前記不良画像の存在回数を不良画像認識数として積算する。色情報算出制御部は、前記ボール画像から、前記ボールの表面色を示す色情報を算出する。繰り返し制御部は、前記ボール画像が、前記撮影画像内に設けられた所定の認識ラインを通過するまで、前記撮影画像の撮影と、前記ボール画像の検出と、前記必須画像認識数の積算と、前記不良画像認識数の積算と、前記色情報の算出とを繰り返す。判別制御部は、前記繰り返しが完了すると、前記必須画像認識数と、前記不良画像認識数と、前記色情報とに基づいて、前記ボール画像のボールを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別する。
【0016】
又、本発明に係るボール外観認識装置のボール外観認識方法は、ボール外観認識装置の各制御部と同様に、撮影制御工程と、検出制御工程と、必須画像積算制御工程と、不良画像積算制御工程と、色情報算出制御工程と、繰り返し制御工程と、判別制御工程と、を備える。
【発明の効果】
【0017】
本発明によれば、転がるボールのボール画像に基づいて、様々なボールの種類の判別を精度高く行うことが可能となる。
【図面の簡単な説明】
【0018】
【
図1】本発明に係るボール外観認識装置の機能ブロック図である。
【
図2】本発明に係るボール外観認識方法の実行手順を示すフローチャートである。
【
図3】所定の面を転がるボールとカメラとの関係の一例を示す図(
図3A)と、ボール画像の検出と必須画像認識数等の設置の一例を示す図(
図3B)と、である。
【
図4】人工知能で必須画像が検出され、ボール画像の内部に存在した場合の一例を示す図(
図4A)と、人工知能で必須画像が検出されなかった場合の一例を示す図(
図4B)と、である。
【
図5】人工知能で傷不良画像が検出され、ボール画像の内部に存在した場合の一例を示す図(
図5A)と、人工知能で汚れ不良画像が検出され、ボール画像の内部に存在した場合の一例を示す図(
図5B)と、である。
【
図6】比較的新しいボールのボール画像から色情報を算出する場合の一例を示す図(
図6A)と、比較的古いボールのボール画像から色情報を算出する場合の一例を示す図(
図6B)と、である。
【
図7】第一の撮影画像におけるボール画像の必須画像認識数等の表示の一例を示す図(
図7A)と、第二の撮影画像におけるボール画像の検出とボール画像の必須画像認識数等の表示の一例を示す図(
図7B)と、である。
【
図8】第三の撮影画像におけるボール画像の検出とボール画像の必須画像認識数等の表示の一例を示す図(
図8A)と、第nの撮影画像におけるボール画像の必須画像認識数等の表示と良品ボールの判別の一例を示す図(
図8B)と、である。
【
図9】撮影画像におけるボール画像の必須画像認識数等の表示と不良品ボールの判別の一例を示す図(
図9A)と、撮影画像におけるボール画像の必須画像認識数等の表示と異種品ボールの判別の一例を示す図(
図9B)と、である。
【
図10】撮影画像におけるボール画像の必須画像認識数等の表示と異種品ボールの判別の一例を示す図(
図10A)と、撮影画像におけるボール画像の必須画像認識数等の表示と異種品ボールの判別の一例を示す図(
図10B)と、である。
【
図12】実施例の撮影画像におけるボール画像の必須画像認識数等の表示の一例を示す図(
図12A)と、実施例の撮影画像におけるボール画像の必須画像認識数等の表示と不良品ボールの判別の一例を示す図(
図12B)と、である。
【発明を実施するための形態】
【0019】
以下に、添付図面を参照して、本発明の実施形態について説明し、本発明の理解に供する。尚、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
【0020】
本発明に係るボール外観認識装置1は、
図1に示すように、カメラ10と、端末装置11と、を備えている。ここで、カメラ10の構成に特に限定は無いが、例えば、連続撮影可能な通常のカメラや高解像度で高速に連続撮影を可能にする高性能カメラを挙げることが出来る。本発明のカメラ10は、基本的に1台のカメラで構成されるが、複数台(例えば、2台)のカメラで構成されても良い。
【0021】
カメラ10の近傍には、ボールBが転がることが出来る所定の面10a(例えば、レール)が設けられている。カメラ10は、面10aの一部に向けて固定され、面10aの一部を撮影領域Aとして撮影する。ボールBが面10aを転がることで、カメラ10は、面10aの一部を転がるボールBを撮影領域Aにおいて撮影する。
【0022】
ここで、ボールBの種類に特に限定は無いが、例えば、ゴルフボールを挙げることが出来る。ゴルフボールは、所定数の種類に応じて判別される。ここでは、例えば、ゴルフボールは、所定の判別条件を満たすと、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別される(後述する)。
【0023】
又、端末装置11の構成に特に限定は無いが、例えば、ディスクトップ型の端末装置や携帯型の端末装置、携帯用のノートパソコン等を挙げることが出来る。端末装置11には、例えば、画面を表示する表示部(出力部)と、ユーザーの操作により所定の指示の入力を受け付ける受付部(入力部)と、各処理を実行する制御部とを備えている。
【0024】
さて、ボール外観認識装置1は、判別されたボールBを選別する選別装置12を更に備えても良い。選別装置12は、例えば、ボール外観認識装置1がボールBを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別した場合、判別されたボールBの種類に応じて、複数の排出部のうち、所定の排出部に排出させる装置である。ここでは、選別装置12は、例えば、面10aを転がるボールBの移動方向を変更して、当該ボールBを他の移動方向に移動させて、ボールBの種類に応じた排出部へ排出させる。
【0025】
ここで、選別装置12の構成に特に限定は無いが、例えば、カメラ10の撮影領域AのボールBの転がり方向に設けられ、ボール外観認識装置1がボールBを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別した場合、面10aのうち、撮影領域Aから転がり出たボールBに向かって、当該ボールBの移動方向と直角方向にエアーを吹き出すことで、当該ボールBを他の移動方向に移動させる。
図1では、例えば、ボールBが不良品ボール又は異種品ボールと判別された場合に、選別装置12が、ボールBをボールBの移動方向と直角方向にエアーで吹き飛ばすように構成している。尚、この構成は、ボールの選別方法の一例であり、多種多様な選別方法を採用することが出来る。
【0026】
さて、端末装置11は、図示しないCPU、GPU、ROM、RAM、HDD、SSD等を内蔵しており、CPU又はGPUは、例えば、RAMを作業領域として利用し、ROM、HDD、SSD等に記憶されているプログラムを実行する。又、後述する各制御部についても、CPUがプログラムを実行することで当該各制御部を実現する。
【0027】
次に、
図1-
図10を参照しながら、本発明の実施形態に係る構成及び実行手順について説明する。先ず、ユーザーがボール外観認識装置1の端末装置11の電源を投入すると、端末装置11が起動し、端末装置11の撮影制御部101が、撮影を開始する。
【0028】
ここで、ユーザーが、カメラ10の撮影領域Aが存在する所定の面10aの一方を、多種多様なボールBが排出される排出装置(例えば、ボール洗浄装置)の排出口に接続すると、この面10aの一方から他方へ向かってボールBが転がる。そこで、撮影制御部101は、カメラ10を用いて、この面10aを転がるボールBを撮影する(
図2:S101)。
【0029】
ここで、面10aの種類に特に限定は無いが、例えば、
図3Aに示すように、上方から下方に傾斜した傾斜面10aでも良いし、水平方向に沿った平面10aでも構わない。傾斜面10aでは、傾斜面10aの上方を排出装置の排出口に接続することで、ボールBが、傾斜面10aの上方から下方に向かって転がり落ちる。一方、平面10aでは、平面10aの一方を排出装置の排出口に接続し、排出口から排出されたボールBが、自身の勢いか、外部からボールBを移動させる移動手段を用いるかによって、平面10aの一方から他方に転がって移動する。
【0030】
又、撮影制御部101の撮影方法に特に限定は無いが、面10aが傾斜面でも平面でも、面10aの途中の真上にカメラ10が設置されており、面10aの一部を撮影領域Aとして撮影する。撮影制御部101は、カメラ10を用いて、面10aの撮影領域Aを通過するボールBを撮影する。
【0031】
ここで、カメラ10の両側のいずれか又は両方に、撮影領域Aに光を照射する照明部を設けても良い。これにより、撮影領域A内に存在するボールBの表面に光を当てて、ボールBの撮影画像を鮮明に撮影することが出来る。
【0032】
さて、撮影制御部101がボールBを撮影すると、端末装置11の検出制御部102が、ボールBに対応する学習用ボール画像と、ボールBの正規品を示す学習用必須画像と、ボールの傷又は汚れを含む学習用不良画像とを予め学習させた人工知能を用いて、撮影画像Cに含まれるボール画像BPと、必須画像RPと、不良画像NPとを検出する(
図2:S102)。
【0033】
ここで、検出制御部102の検出方法に特に限定は無いが、例えば、第一の(最初の)撮影画像C1が撮影されると、先ず、検出制御部102は、第一の撮影画像C1を取得して、予め設けられた人工知能に第一の撮影画像C1を入力する。
【0034】
人工知能とは、学習用の基準画像の特徴量(数値データ、パラメータ等)に基づいて、入力された入力画像の特徴量が学習用基準画像の特徴量に同一又は近似する場合に、入力画像を基準画像として分類し、検出するツールであり、いわば、分類器として機能する。人工知能は、例えば、機械学習や深層学習を採用しても良いし、サポートベクターマシーン、ニューラルネットワーク、所定のルールに基づいた分類方法等を採用しても良い。
【0035】
本発明では、
図3Bに示すように、人工知能300に、検出対象となるボールBに対応する学習用ボール画像30が教師データとして予め入力されることで、人工知能300が、学習用ボール画像30の特徴量を抽出し、その特徴量を学習する。そして、検出制御部102が、第一の撮影画像C1を人工知能300に入力すると、人工知能300によって第一の撮影画像C1の内部の所定の対象画像から、対象画像の特徴量を抽出し、抽出した対象画像の特徴量が、学習させた学習用ボール画像30の特徴量に一致又は近似する場合、対象画像をボール画像として分類して検出する。一方、対象画像の特徴量が学習用ボール画像30の特徴量に一致又は近似しない場合、何ら物体を検出しない。そして、検出制御部102は、第一の撮影画像C1の内部における対象画像のサイズを適宜変更することで、多種多様なサイズのボール画像BPが第一の撮影画像C1に存在したとしても、そのボール画像BPを検出することが出来る。
【0036】
ここで、検出制御部102がボール画像BPを検出すると、
図3Bに示すように、ボール画像BPの外周円に外接する四角形31を設けても良い。ここで、四角形31の下方右側には、必須画像認識数の欄32が設けられ、四角形31の下方左側には、不良画像認識数の欄33が設けられ、四角形31の上方には、ボール画像BPの色情報の欄34が設けられる。不良画像認識数の欄33の上方には、不良画像認識数のうち、傷不良画像認識数の欄33aが設けられ、不良画像認識数の欄33の下方には、不良画像認識数のうち、汚れ不良画像認識数の欄33bが設けられる。必須画像認識数の欄32と、傷不良画像認識数の欄33aと、汚れ不良画像認識数の欄33bと、色情報の欄34には、初期値として、例えば、「0」が設定される。これにより、各種の数値を一見して確認することが可能となる。尚、必須画像認識数の欄32と、傷不良画像認識数の欄33aと、汚れ不良画像認識数の欄33bと、色情報の欄34との位置や表示形態に特に限定は無く、他の位置や表示形態でも良く、適宜設計変更される。
【0037】
さて、検出制御部102が、ボール画像BPを検出した場合、検出したボール画像BPが直前の撮影画像内のボール画像と同等であるか否かを判定する(
図2:S103)。直前の撮影画像は、例えば、第一の撮影画像C1から1フレーム前の撮影画像を挙げることが出来る。ここでは、ボール画像BPが初めて検出されたため、検出制御部102は、直前の撮影画像内のボール画像と同等でないと判定し(
図2:S103NO)、初めて検出されたボール画像BPに識別情報(ID)(例えば、「a001」)を付与する(
図2:S104)。これにより、特定のボール画像BPを識別することが可能となる。又、検出制御部102は、付与した識別情報を、必須画面認識数と、不良画像認識数(傷不良画像認識数、汚れ不良画像認識数)と色情報とに関連付けておく。
【0038】
尚、ボール画像BPに識別情報(「a001」)が付与されると、検出制御部102は、
図3Bに示すように、四角形31の上方右側に、識別情報の欄35を設け、そこに識別情報(「a001」)を表示しても良い。これにより、ボール画像BPの同一性を一見して確認することが可能となる。
【0039】
ところで、
図4Aに示すように、人工知能300には、学習用ボール画像30以外に、ボールBの正規品を示す学習用必須画像40が予め学習されているため、S102において、検出制御部102は、第一の撮影画像C1に必須画像RPが存在する場合、この必須画像RPを検出する。ここで、学習用必須画像40は、ボールBが正規品であるための必須項目を示す画像であり、例えば、社名、ロゴ、名称、識別番号等を挙げることが出来る。
図4Aでは、学習用必須画像40として、ボールBのロゴ「Logo」の画像や「001」から「999」までの識別番号の画像が示されている。学習用必須画像40が、人工知能300に教師データとして入力されると、上述と同様に、人工知能300が、学習用必須画像40の特徴量を抽出し、その特徴量を学習する。
【0040】
ここで、
図4Aでは、第一の撮影画像C1のボール画像BPには、学習用必須画像40と同等のボールBのロゴ「Logo」が示されているため、検出制御部102が、人工知能300によって、学習させた学習用必須画像40の特徴量に一致又は近似する必須画像RPを検出する。
【0041】
次に、検出制御部102が必須画像RPを検出した場合、端末装置11の必須画像積算制御部103が、必須画像RPがボール画像BPの内部に存在する場合に(
図2:S105YES)、必須画像RPの存在回数を必須画像認識数として積算する(
図2:S106)。
【0042】
ここで、必須画像積算制御部103の積算方法に特に限定は無い。例えば、必須画像RPが第一の撮影画像C1に検出された場合、必須画像積算制御部103は、検出された必須画像RPの中心座標と、必須画像RPの縦横サイズと、検出されたボール画像BPの中心座標と、ボール画像BPの縦横サイズとに基づいて、必須画像RPがボール画像BPの内部に存在するか否かを判定する(
図2:S105)。ここでの中心座標は、撮影画像におけるカメラ座標系の原点を基準としており、サイズは、撮影画像を構成する画素数(ピクセル数)を基準としている。具体的には、必須画像積算制御部103は、必須画像RPの縦サイズがボール画像BPの縦サイズ以内であり、且つ、必須画像RPの横サイズがボール画像BPの横サイズ以内であるか否かを判定する。
【0043】
判定の結果、
図4Aに示すように、必須画像RPがボール画像BPの内部に存在する場合(
図2:S105YES)、必須画像積算制御部103は、必須画像認識数に必須画像RPの存在回数の「1」を加算して、必須画像認識数を積算(カウント)する(
図2:S106)。
【0044】
ここで、当初の必須画像認識数は、初期値として「0」が設定されていたため、必須画像積算制御部103は、必須画像認識数の「0」に必須画像RPの存在回数の「1」を加算した「1」を必須画像認識数とし、ボール画像BPの四角形31における必須画像認識数の欄32に必須画像認識数の「1」を表示する。これにより、ユーザーは、第一の撮影画像C1の必須画像認識数の欄32を一見することで、必須画像RPの存在回数を簡単に確認することが出来る。
【0045】
一方、判定の結果、必須画像RPがボール画像BPの内部に存在しない場合(
図2:S105NO)、この場合は、何らかの原因(ノイズ等の誤検出)で、必須画像RPが、ボール画像BP以外の第一の撮影画像C1内に存在した場合であり、ボールBを判別するための画像として利用することが出来ない。そのため、必須画像積算制御部103が、必須画像RPの存在回数を積算することなく、そのまま処理を完了する。つまり、必須画像認識数に必須画像RPの存在回数が加算されず、必須画像認識数は、初期値の「0」のままとなる。これにより、ボールBを判別するための必須画像RPの存在回数を精度高く積算することが出来る。
【0046】
一方、
図4Bに示すように、ボール画像BPに、学習用必須画像40と全く異なるボールBのロゴ「Ball」が示されている場合、検出制御部102が、第一の撮影画像C1を人工知能300に入力しても、ロゴ「Ball」の特徴量が学習用必須画像40の特徴量に一致又は近似しないため、何ら物体を検出することなく、処理を完了する。この場合は、必須画像RPが検出されないため、必須画像積算制御部103は、必須画像RPがボール画像BPの内部に存在しないと判定し(
図2:S105NO)、そのまま処理を完了する。このように、必須画像RPが存在しない場合は、必須画像認識数は増加しないため、必須画像認識数の増加具合で、所望のボールBか否かを判定することが出来る。
【0047】
又、
図5Aに示すように、人工知能300には、学習用ボール画像30以外に、ボールBに設けられた傷を示す学習用傷不良画像50が学習用不良画像として予め学習されているため、S102において、検出制御部102は、第一の撮影画像C1に不良画像となる傷不良画像NPが存在する場合、この傷不良画像NPを検出する。ここで、学習用傷不良画像50は、例えば、切り傷の画像、かすり傷の画像等を挙げることが出来る。学習用傷不良画像50が、人工知能300に教師データとして入力されると、上述と同様に、人工知能300が、学習用傷不良画像50の特徴量を抽出し、その特徴量を学習する。
【0048】
ここで、
図5Aにおいて、第一の撮影画像C1のボール画像BPには、学習用傷不良画像50と同等のボールBの傷が存在しているため、検出制御部102が、人工知能300によって、学習させた学習用傷不良画像50の特徴量に一致又は近似する傷不良画像NPを検出する。
【0049】
検出制御部102が傷不良画像NPを検出した場合、端末装置11の不良画像積算制御部104が、不良画像NPがボール画像BPの内部に存在する場合に(
図2:S107YES)、不良画像NPの存在回数を不良画像認識数として積算する(
図2:S108)。
【0050】
ここで、不良画像積算制御部104の積算方法に特に限定は無い。例えば、不良画像として傷不良画像NPが第一の撮影画像C1に検出された場合、不良画像積算制御部103は、検出された傷不良画像NPの中心座標と、傷不良画像NPの縦横サイズと、検出されたボール画像BPの中心座標と、ボール画像BPの縦横サイズとに基づいて、傷不良画像NPがボール画像BPの内部に存在するか否かを判定する(
図2:S107)。この判定方法は、上述と同様である。
【0051】
判定の結果、
図5Aに示すように、傷不良画像NPがボール画像BPの内部に存在する場合(
図2:S107YES)、不良画像積算制御部104は、傷不良画像認識数に傷不良画像NPの存在回数の「1」を加算して、傷不良画像認識数を積算する(
図2:S108)。ここで、当初の傷不良画像認識数は、初期値として「0」が設定されていたため、不良画像積算制御部104は、傷不良画像認識数の「0」に傷不良画像NPの存在回数の「1」を加算した「1」を傷不良画像認識数とし、ボール画像BPの四角形31における傷不良画像認識数の欄33aに傷不良画像認識数の「1」を表示する。これにより、ユーザーは、第一の撮影画像C1の傷不良画像認識数の欄33aを一見することで、傷不良画像50の存在回数を簡単に確認することが出来る。
【0052】
一方、判定の結果、傷不良画像NPがボール画像BPの内部に存在しない場合(
図2:S107NO)、この場合は、上述と同様に、何らかの原因(ノイズ等の誤検出)で、傷不良画像NPが、ボール画像BP以外の第一の撮影画像C1内に存在した場合であり、ボールBを判別するための画像として利用することが出来ない。そのため、不良画像積算制御部104が、傷不良画像NPの存在回数を積算することなく、そのまま処理を完了する。つまり、傷不良画像認識数に傷不良画像NPの存在回数が加算されず、傷不良画像認識数は、初期値の「0」のままとなる。このように、傷を示す傷不良画像50がボール画像BPの内部に存在しない場合、傷不良画像認識数は増加しないため、傷不良画像認識数の増加具合で、傷が多いボールBか否かを判定することが出来る。
【0053】
ところで、上述では、不良画像として傷不良画像を採用したが、他の不良画像であっても構わない。例えば、
図5Bに示すように、不良画像は、ボールBに設けられる汚れを示す汚れの画像であっても良い。
図5Bでは、人工知能300には、学習用ボール画像30以外に、ボールBに設けられた汚れを示す学習用汚れ不良画像51が学習用不良画像として予め学習されており、学習用汚れ不良画像51は、例えば、薄い汚れの画像や濃い汚れの画像等を挙げることが出来る。学習用汚れ不良画像51が、人工知能300に教師データとして入力されると、上述と同様に、人工知能300が、学習用汚れ不良画像51の特徴量を抽出し、その特徴量を学習する。
【0054】
ここで、
図5Bにおいて、第一の撮影画像C1のボール画像BPには、学習用汚れ不良画像51と同等のボールBの汚れが存在しているため、検出制御部102が、人工知能300によって、学習させた学習用汚れ不良画像51の特徴量に一致又は近似する汚れ不良画像NPを検出する。
【0055】
次に、検出制御部102が汚れ不良画像NPを検出した場合、上述と同様に、不良画像積算制御部104が、汚れ不良画像NPがボール画像BPの内部に存在する場合に(
図2:S107YES)、汚れ不良画像NPの存在回数を汚れ不良画像認識数として積算する(
図2:S108)。
【0056】
ここで、
図5Bでは、汚れ不良画像NPがボール画像BPの内部に存在するため、不良画像積算制御部104は、汚れ不良画像認識数に汚れ不良画像NPの存在回数の「1」を加算して、汚れ不良画像認識数を積算する(
図2:S108)。ここでも、当初の汚れ不良画像認識数は、初期値として「0」が設定されていたため、不良画像積算制御部104は、汚れ不良画像認識数の「0」に汚れ不良画像NPの存在回数の「1」を加算した「1」を汚れ不良画像認識数とし、ボール画像BPの四角形31における汚れ不良画像認識数の欄33bに傷不良画像認識数の「1」を表示する。
【0057】
一方、判定の結果、汚れ不良画像NPがボール画像BPの内部に存在しない場合(
図2:S107NO)、不良画像積算制御部104が、汚れ不良画像NPの存在回数を積算することなく、そのまま処理を完了することになる。
【0058】
尚、S102では、学習用ボール画像30と学習用必須画像40と学習用不良画像50、51とが予め人工知能300に学習されているため、撮影画像Cにボール画像BPと、必須画像RPと、不良画像NPとが全て存在する場合は、検出制御部102が、人工知能300によって、ボール画像BPと、必須画像RPと、不良画像NPとの全てを一気に検出しても良いし、しても良い。
【0059】
さて、不良画像積算制御部104が不良画像認識数の積算を完了すると、端末装置11の色情報算出制御部105は、ボール画像BPから、ボールBの表面色を示す色情報を算出する(
図2:S108)。
【0060】
ここで、色情報算出制御部105の算出方法に特に限定は無いが、例えば、
図6Aに示すように、色情報算出制御部105は、検出されたボール画像BPの中心画像60を参照し、参照した中心画像60を構成している各画素の色情報を取得する。
【0061】
ここで、色情報は、例えば、R(赤)、G(緑)、B(青)の3原色の数値で表され、白色の色情報は、R(255)、G(255)、B(255)と表され、黒色の色情報は、R(0)、G(0)、B(0)と表される。例えば、白色の色情報を、R(255)、G(255)、B(255)から「1」に変換し、黒色の色情報を、R(0)、G(0)、B(0)から「0」に変換することで、色情報の3原色の数値を、「0」から「1」の範囲内で表すことが出来る。ボールBの正常色を白色に設定すると、色情報の数値が高い程、「1」に近づき、その色情報の色は、ボールBの正常色の白色に近づく。尚、色情報は、そのままの3原色の数値を用いても良いし、上述のように、3原色の数値を所定のルールに従って変換して算出しても良い。
【0062】
ここで、
図6Aに示すボール画像BPが、比較的新しく、ボールBの正常色に近い場合は、色情報算出制御部105は、中心画像60から、白色の色情報に近い色情報の「0.82」を取得する。そして、色情報算出制御部105は、ボール画像BPの四角形31におけるボール画像BPの色情報の欄34に色情報「0.82」を表示する。
【0063】
一方、
図6Bに示すボール画像BPが、比較的古く、ボールBの正常色から離れて汚れている場合は、色情報算出制御部105は、中心画像60から、黒色の色情報に近い色情報の「0.28」を算出し、ボール画像BPの四角形31におけるボール画像BPの色情報の欄34に色情報「0.28」を表示する。このように、色情報の欄33を設けることで、ユーザーは、第一の撮影画像C1の色情報の欄34を一見すると、ボール画像BPの色情報を簡単に確認することが出来る。
【0064】
尚、上述では、色情報算出制御部105が中心画像60から一回だけ色情報を取得したが、他の方法として、例えば、ボール画像BPの他の部分の画像から色情報を取得したり、ボール画像BPの各部分の画像から色情報を取得して、各部分の画像の色情報の平均値を取得したりしても構わない。
【0065】
又、上述では、色情報は、R、G、Bの3原色の数値を採用したが、他の色情報として、L*a*b*表色系の数値やXYZ表色系の数値を採用しても良いし、これらの数値を組み合わせても構わない。
【0066】
さて、色情報算出制御部105が色情報の算出を完了すると、第一の撮影画像C1におけるボール画像BPの必須画像認識数の欄32と、傷不良画像認識数の欄33aと、汚れ不良画像認識数の欄33bと、色情報の欄34には、それぞれ数値が表示される。
図3Aに示す第一の撮影画像C1のボール画像BPでは、
図7Aに示すように、必須画像認識数の欄32に「1」が表示され、傷不良画像認識数の欄33aと汚れ不良画像認識数の欄33bとのそれぞれに「0」が表示され、色情報の欄34に「0.82」が表示される。
【0067】
尚、上述では、3つの処理が、必須画像認識数の積算(S106)と、不良画像認識数の積算(S108)と、色情報の取得(S109)との順番に行われたが、これらの順番に特に限定は無く、相互に入れ替わっても、同様の作用効果となる。
【0068】
さて、上述の3つの処理が完了すると、端末装置11の繰り返し制御部106は、ボール画像BPが、撮影画像C内に設けられた所定の認識ラインLを通過するまで、撮影画像Cの撮影(S101)と、ボール画像BPの検出(S102)と、必須画像認識数の積算(S106)と、不良画像認識数の積算(S108)と、色情報の算出(S109)とを繰り返す(
図2:S110)。
【0069】
ここで、繰り返し制御部106の繰り返し方法に特に限定は無いが、例えば、
図7Aに示すように、カメラ10が撮影する撮影領域Aに対応する撮影画像Cには、予め設定された所定の認識ラインLが設けられている。この認識ラインLは、傾斜面10aの下方側に設けられ、ボールBが傾斜面10aの上方から下方に転がったことを認識するために設けられている。
【0070】
ここで、繰り返し制御部106は、第一の撮影画像C1のボール画像BPが認識ラインLを通過したか否かを判定する。
図7Aの時点では、ボール画像BPは、未だ傾斜面10aの上方に位置し、認識ラインLを通過していないため、繰り返し制御部106は、第一の撮影画像C1のボール画像BPが認識ラインLを通過していないと判定する(
図2:S110NO)。そして、繰り返し制御部106は、S101に戻って、撮影制御部101に、ボールBを含む撮影画像の撮影を行わせる(
図2:S101)。
【0071】
ここで、撮影制御部101は、転がるボールBを撮影し、第一の撮影画像C1の第二(次)の撮影画像C2が得られるが、ここでは、
図7Bに示すように、ボールBが転がることで、先ほどのボールBの表面と異なる表面が表れる。すると、検出制御部102は、第二の撮影画像C2において、人工知能300により、先ほどのボール画像BPと異なるボール画像BPを検出する(
図2:S102)。仮に、第二の撮影画像C2に必須画像RPが存在する場合は、検出制御部102は、人工知能300により、この必須画像RPも検出することになる。そして、検出制御部102が、第二の撮影画像C2で検出したボール画像BPが直前の第一の撮影画像C1内のボール画像BPと同等であるか否かを判定する(
図2:S103)。
【0072】
ここで、検出制御部102の判定方法に特に限定は無いが、例えば、第一の撮影画像C1のボール画像BPと第二の撮影画像C2のボール画像BPとが重複する重複画素数を算出し、算出した重複画素数が所定の閾値以上であるか否かを判定する。
【0073】
図7Bでは、第一の撮影画像C1のボール画像BPと第二の撮影画像C2のボール画像BPとの重複画素数70が所定の閾値以上であるため、検出制御部102は、第二の撮影画像C2のボール画像BPが第一の撮影画像C1のボール画像BPと同等であると判定し(
図2:S103YES)、第二の撮影画像C2のボール画像BPに、第一の撮影画像C1のボール画像BPの識別情報(「a001」)を引き渡す(
図2:S111)。これにより、連続的に撮影される複数の撮影画像において、一部が重複するボール画像BPを同一のボール画像BPとして取り扱うことで、最初に撮影されてから所定の認識ラインLを通過するまで、同一のボールBを追跡することが可能となる。又、同一の識別番号が第二の撮影画像C2のボール画像BPに引き渡されることで、この識別番号に関連付けられた必須画像認識数と傷不良画像認識数と汚れ不良画像認識数と色情報も第二の撮影画像C2のボール画像BPに関連付けられることになる(データの引継ぎ)。これにより、今までの第一の撮影画像C1のボール画像BPのデータが第二の撮影画像C2のボール画像BPへ引き継がれることで、同一のボールBの表面情報を履歴として残すことが出来る。
【0074】
一方、第一の撮影画像C1のボール画像BPと第二の撮影画像C2のボール画像BPとの重複画素数70が所定の閾値未満の場合は、何らかの理由(事故や誤検出)でボールBの同一性が損なわれた可能性があるため、検出制御部102は、第二の撮影画像C2のボール画像BPが第一の撮影画像C1のボール画像BPと同等でないと判定し(
図2:S103NO)、第二の撮影画像C2のボール画像BPに新たに識別情報(ID)(例えば、「0002」)を付与する(
図2:S104)。これにより、ボールBの同一性が損なわれた場合、新たに識別情報を付与して、ボール画像BPを識別することが出来る。
【0075】
ところで、
図7Bでは、第二の撮影画像C2におけるボール画像BPの内部に、必須画像RPに対応する識別番号「001」の画像が表れているため(
図2:S105YES)、上述と同様に、必須画像積算制御部103は、必須画像認識数を積算し(
図2:S106)、必須画像認識数の「1」に必須画像RPの存在回数の「1」を加算した「2」を必須画像認識数の欄32に表示する。一方、ボール画像BPには、傷不良画像や汚れ不良画像は存在しないため、不良画像積算制御部104は不良画像認識数を積算せず(
図2:107NO)、傷不良画像認識数の欄33aと汚れ不良画像認識数の欄33bとの「0」はそのままである。又、色情報算出制御部105は、色情報「0.82」を算出し(
図2:S109)、色情報の欄34に「0.82」を表示する。
【0076】
そして、繰り返し制御部106は、第二の撮影画像C2のボール画像BPが認識ラインLを通過したか否かを判定するが(
図2:S110)、
図7Bの時点では、ボール画像BPは、未だ傾斜面10aの上方に位置し、認識ラインLを通過していない。そのため、繰り返し制御部106は、撮影画像Cのボール画像BPが認識ラインLを通過していないと判定し(
図2:S108NO)、S101に戻る。
【0077】
ここで、
図8Aに示すように、ボールBが更に転がることで、先ほどの表面と更に異なる表面が表れる。すると、検出制御部102は、第三の撮影画像C3において、人工知能300により、先ほどのボール画像BPと異なるボール画像BPを検出する。一つのボールBの転がりが連続的に撮影されているため、検出制御部102が、第三の撮影画像C3で検出したボール画像BPが第二の撮影画像C2内のボール画像BPと同等であると判定し(
図2:S103YES)、第三の撮影画像C3のボール画像BPに、第二の撮影画像C2のボール画像BPの識別情報(「a001」)を引き渡す(
図2:S111)。
【0078】
そして、
図8Aでは、第三の撮影画像C3におけるボール画像BPの内部に、必須画像RPに対応するロゴ「Logo」の画像が表れているため(
図2:S105YES)、上述と同様に、必須画像積算制御部103は、必須画像認識数を積算し(
図2:S106)、必須画像認識数の「2」に必須画像RPの存在回数の「1」を加算した「3」を必須画像認識数の欄32に表示する。又、ボール画像BPには、傷不良画像や汚れ不良画像は存在しないため、不良画像積算制御部104は不良画像認識数を積算せず(
図2:107NO)、傷不良画像認識数の欄33aと汚れ不良画像認識数の欄33bとの「0」はそのままである。又、色情報算出制御部105は、色情報「0.82」を取得し(
図2:S109)、色情報の欄34に「0.82」を表示する。
【0079】
このように、ボール画像BPが認識ラインLを通過するまで、S101からS109までの処理が繰り返される。ここで、ボールBが転がることで、ボールBの様々な表面に対応するボール画像BPが表れるため、ボールBの回転に伴って、必須画像RPが表れると、必須画像RPの存在回数だけ必須画像認識数が積算される。又、傷不良画像NPが表れると、傷不良画像NPの存在回数だけ傷不良画像認識数が積算され、汚れ不良画像NPが表れると、汚れ不良画像NPの存在回数だけ汚れ不良画像認識数が積算される。色情報もその都度算出される。これにより、ボールBの回転により、ボールBの様々な表面を検査することで、様々なボールBの種類を精度高く判別することが出来る。
【0080】
尚、上述では、撮影画像毎に色情報の取得(S109)を行うように構成しているが、一枚の撮影画像だけ色情報の取得(S109)を行って、後は省略しても良いし、所定のタイミングで所定数の撮影画像に対して色情報の取得を行い、それらの色情報の平均値を取得する(S109)ように構成しても良い。
【0081】
さて、
図8Bに示すように、ボールBが更に転がり、撮影制御部101は、第nの撮影画像Cn(nは、自然数、ここでは、n>3)を撮影し(
図2:S101)、検出制御部102は、人工知能300を使って、第nの撮影画像Cn(nは、自然数)でボール画像BPを検出し(
図2:S102)、識別情報(「a001」)を引き渡す(
図2:S111)。
図8Bでは、第nの撮影画像Cnのボール画像BPには、人工知能300で学習させた学習用必須画像40、学習用傷不良画像50、学習用汚れ不良画像51が存在しないため、必須画像積算制御部103は、必須画像認識数を積算せず(
図2:S105NO)、不良画像積算制御部104は不良画像認識数を積算せず(
図2:107NO)、色情報算出制御部105は、色情報「0.82」を取得する(
図2:S109)。
【0082】
ここで、繰り返し制御部106は、第nの撮影画像Cnのボール画像BPが認識ラインLを通過したか否かを判定するが(
図2:S110)、
図8Bの時点では、ボール画像BPは、傾斜面10aの下方に位置し、認識ラインLを通過したため、繰り返し制御部106は、第nの撮影画像Cnのボール画像BPが認識ラインLを通過したと判定する(
図2:S110YES)。
【0083】
すると、繰り返し制御部106は、繰り返しを完了し、端末装置11の判別制御部107は、必須画像認識数と、不良画像認識数と、色情報とに基づいて、ボール画像BPのボールBを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別する(
図2:S112)。
【0084】
ここで、判別制御部107の判別方法に特に限定は無いが、例えば、必須画像認識数が「1」以上で、不良画像認識数が第一の閾値(例えば、「1」)未満で、且つ、色情報が、ボールBの表面色が正常色を示す第二の閾値(「1」)を用いた色範囲(例えば、「0.40」≦色情報≦「1」)内である第一の判別条件の場合、判別制御部107は、ボール画像BPのボールBを良品ボールとして判別する。
【0085】
具体的には、繰り返しが完了すると、判別制御部107は、ボール画像BPにおける必須画像認識数と、不良画像認識数(傷不良画像認識数、汚れ不良画像認識数)と、色情報とを取得する。
【0086】
ここで、
図8Bに示すように、必須画像認識数が「3」であり、不良画像認識数の傷不良画像認識数が「0」であり、不良画像認識数の汚れ不良画像認識数が「0」であり、色情報が「0.82」である。色情報は、その都度、算出されるため、例えば、判別制御部107は、今まで算出された色情報の平均値を取得しても良いし、色情報の最小値を取得しても良いし、最大値を取得しても構わない。又、色範囲の設定に特に限定は無いが、例えば、ボールBの表面色が正常色を示す第二の閾値(「1」)が決まれば、この第二の閾値を最大値にして、所定の幅値(例えば、「0.60」)を減算した減算値を最小値にして、最小値と最大値から構成される色範囲を設定しても良いし、第二の閾値を中心値として所定の幅値を加算した加算値と、中心値に幅値を減算した減算値とを算出して、減算値と加算値から構成される色範囲を設定しても良い。
【0087】
そして、ここでは、判別制御部107は、このボール画像BPが、必須画像認識数が「1」以上で、不良画像認識数が第一の閾値の「0」以下で、且つ、色情報の「0.82」が色範囲(「0.40」≦色情報≦「1」)内である第一の判別条件に該当すると判定する(
図2:S109)。この第一の判別条件は、ボールBが新品か比較的新品に対応する判別条件となる。そして、良品制御部107は、第一の判別条件に対応して、ボール画像BPのボールBを良品ボールとして判別する(
図2:S112)。これにより、ボールBを良品ボールとして精度高く判別することが可能となる。
【0088】
又、必須画像認識数が「1」以上で、不良画像認識数が第一の閾値(「1」)以上で、且つ、色情報が色範囲(「0.40」≦色情報≦「1」)内である第二の判別条件の場合、判別制御部107は、ボール画像BPのボールBを不良品ボールとして判別する。
【0089】
具体的には、
図9Aに示すように、ボールBの回転の結果、ボールBにロゴ「Logo」が存在するとともに、ボールBに傷と汚れが存在する場合、必須画像認識数が「1」となり、不良画像認識数の傷不良画像認識数が「1」となり、不良画像認識数の汚れ不良画像認識数が「1」となり、色情報が「0.82」となる。この場合、判別制御部107は、このボールBのボール画像BPが、必須画像認識数が「1」以上で、不良画像認識数が第一の閾値の「1」以上で、且つ、色情報の「0.82」が色範囲(「0.40」≦色情報≦「1」)内である第二の判別条件に該当すると判定する(
図2:S109)。この第二の判別条件は、ボールBが比較的使用されて傷や汚れが生じているボールに対応する判別条件となる。そして、判別制御部107は、第二の判別条件に対応して、ボール画像BPのボールBを不良品ボールとして判別する(
図2:S112)。これにより、ボールBを不良品ボールとして精度高く判別することが可能となる。
【0090】
又、必須画像認識数が「1」未満、又は、色情報が色範囲(「0.40」≦色情報≦「1」)外である第三の判別条件の場合、判別制御部107は、ボール画像BPのボールBを異種品ボールとして判別する。
【0091】
具体的には、
図9Bに示すように、ボールBの回転の結果、ボールBにロゴ「Ball」が存在するとともに、ボールBに傷と汚れが存在する場合、必須画像認識数が「0」となり、不良画像認識数の傷不良画像認識数が「1」となり、不良画像認識数の汚れ不良画像認識数が「1」となり、色情報が「0.82」となる。この場合、判別制御部107は、このボールBのボール画像BPが、必須画像認識数が「0」である第三の判別条件に該当すると判定する(
図2:S109)。この第三の判別条件は、ボールBに所望の必須画像が無いボールに対応する判別条件となる。そして、判別制御部107は、第三の判別条件に対応して、ボール画像BPのボールBを異種品ボールとして判別する(
図2:S112)。
【0092】
ここで、第三の判別条件では、必須画像認識数が「0」の場合、不良画像認識数の傷不良画像認識数や汚れ不良画像認識数、色情報は関係なく、ボール画像BPに所望の必須画像が無いため、ボール画像BPのボールBは異種品ボールとして判別される。これにより、所望の必須画像が無いボールBは確実に異種品ボールとして判別可能となる。
【0093】
又、
図10Aに示すように、ボールBにロゴ「Logo」が存在するとともに、ボールBの表面がひどく汚れている場合、必須画像認識数が「1」となり、不良画像認識数の傷不良画像認識数が「0」となり、不良画像認識数の汚れ不良画像認識数が「0」となり、色情報が「0.28」となる。この場合、判別制御部107は、このボールBのボール画像BPが、色情報の「0.28」が色範囲(「0.40」≦色情報≦「1」)外である第三の判別条件に該当すると判定する(
図2:S109)。この第三の判別条件は、ボールBの表面がひどく汚れている判別条件となる。そして、判別制御部107は、第三の判別条件に対応して、ボール画像BPのボールBを異種品ボールとして判別する(
図2:S112)。これにより、汚れがひどいボールBは、所望の必須画像があったとしても、異種品ボールとして判別することが可能となる。
【0094】
又、
図10Bに示すように、ボールBにロゴ「Ball」と傷が存在するとともに、ボールBの表面がひどく汚れている場合、必須画像認識数が「0」となり、不良画像認識数の傷不良画像認識数が「1」となり、不良画像認識数の汚れ不良画像認識数が「0」となり、色情報が「0.28」となる。この場合、判別制御部107は、このボールBのボール画像BPが、色情報の「0.28」が色範囲(「0.40」≦色情報≦「1」)外である第三の判別条件に該当すると判定し(
図2:S109)、第三の判別条件に対応して、ボール画像BPのボールBを異種品ボールとして判別する(
図2:S112)。
【0095】
このように、第三の判別条件では、必須画像認識数が「1」であっても、色情報が色範囲(「0.40」≦色情報≦「1」)外であると、ボール画像BPのボールBは異種ボールとして判別される。これにより、ボールBの表面が汚れている場合は、所望の必須画像の有無にかかわらず、確実に異種品ボールとして判別することが可能となる。ボールBの表面が著しく異なる色である場合も、異種品ボールとして判別することが可能となる。
【0096】
尚、上述では、必須画像認識数と、不良画像認識数と、色情報とを組み合わせて、良品ボールと不良品ボールと異種品ボールの3つの判別条件を設定することで、ボール画像BPのボールBの種類を良品ボールと不良品ボールと異種品ボールとのいずれかに判別するように構成したが、これらに特に限定は無い。必須画像認識数に対する閾値と、不良画像認識数に対する閾値と、色情報に対する閾値の設定の仕方によって、多種多様のボールBの種類の判別を行うことが出来る。
【0097】
例えば、第一の判別条件は、必須画像認識数が「1」以上で、不良画像認識数が「5」未満で、且つ、色情報が、上述と異なる色範囲(例えば、「0.60」≦色情報≦「1」)内である判別条件に設定され、この判別条件では、良品ボールと判別される。第二の判別条件は、必須画像認識数が「1」以上で、不良画像認識数が「5」以上で、且つ、色情報が、上述と異なる色範囲(「0.60」≦色情報≦「1」)内である判別条件に設定され、この判別条件では、不良品ボールとして判別される。第三の判別条件は、必須画像認識数が「1」未満である判別条件に設定され、この判別条件では、異種品ボールとして判別される。この設定では、良品ボールの認識範囲が広く、不良品ボールの認識範囲が狭く、異種品ボールの認識範囲が広くなるだろう。
【0098】
他に、第一の判別条件は、必須画像認識数が「1」以上である判別条件に設定され、この判別条件では、良品ボールと判別される。第二の判別条件は、不良画像認識数が「10」以上で、且つ、色情報が、上述と更に異なる色範囲(例えば、「0.20」≦色情報≦「1」)内である判別条件に設定され、この判別条件では、不良品ボールとして判別される。第三の判別条件は、必須画像認識数が「1」未満で、且つ、色情報が色範囲(「0.20」≦色情報≦「1」)外である判別条件に設定され、この判別条件では、異種品ボールとして判別される。この設定では、良品ボールの認識範囲が更に広く、不良品ボールの認識範囲が更に狭く、異種品ボールの認識範囲が狭くなるだろう。
【0099】
このように、必須画像認識数に対する閾値と、不良画像認識数に対する閾値と、色情報に対する閾値の設定を多種多様に変更することで、きめ細かいボールBの種類の判別を行うことが可能となるのである。特に、ゴルフ練習場やゴルフ場では、必須画像RPや不良画像NPが多種多様に存在し、且つ、現場での良品、不良品、異種品の認識も多種多様であるため、これらの状況にきめ細かく対応することが可能となるのである。
【0100】
さて、上述では、学習用不良画像として、学習用傷不良画像50や学習用汚れ不良画像51を採用したが、いずれかを採用しても良いし、他の不良画像であっても構わない。例えば、ボールが黄ばんだ黄ばみ不良画像を採用し、黄ばみ不良画像の存在回数を黄ばみ不良画像認識数を積算するように構成しても良い。黄ばみ不良画像認識数を使って、ボールBを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別することで、異なる視点でのボールBの選別が可能となる。
【0101】
さて、判別制御部107は、ボールBの判別を完了すると、選別装置12を使って、ボールBを選別することが出来る。例えば、判別制御部107が、ボールBを不良品ボール又は異種品ボールと判別した場合、
図1に示すように、選別装置12にエアーの吹き出しを指示し、選別装置12がボールBの移動方向と直角方向にエアーを吹き出す。すると、下方に転がるボールBにエアーが当たり、ボールBは、他の移動方向に移動する。これにより、不良品ボール又は異種品ボールは、通常の移動方向に転がることなく、他の移動方向へ移動し、不良品ボール及び異種品ボールを除去することが可能となる。
【0102】
一方、判別制御部107が、ボールBを良品ボールと判別した場合、特に処理をせず、何もしない。これにより、下方に転がるボールBは、そのまま通常の移動方向に転がるため、通常の排出先に移動させることが出来る。
【0103】
尚、上述では、選別装置12が、エアーの吹き出しによりボールBの移動方向を変えるため、ボールBを、良品ボールか、又は不良品ボール或いは異種品ボールかに選別するように構成したが、ボールBを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに選別するように構成しても良い。
【0104】
例えば、選別装置12について、
図11A、
図11Bに示すように、傾斜面10aを有する板1100の上に回転可能な回転板1101が設けられ、回転板1101の外周端に、回転板1101の周方向に沿って所定の間隔を空けて、一つのボールBが入り込み可能なボール溝1102が設けられる。回転板1101の回転軸は、板1100の平面方向に対して直角方向に設けられる。傾斜面10aの上方で左側には、ボールBを、回転板1101の最上端のボール溝1102に案内可能な第一の案内板1103が設けられ、傾斜面10aの上方で右側には、ボールBを、回転板1101の最上端のボール溝1102に案内可能で、且つ、回転板1101の右側の外周端の所定領域を覆い、下方まで延出された第二の案内板1104が設けられる。回転板1101が左側から右側に時計回りに回転することで、最上端のボール溝1102に入ったボールBが、傾斜面10aの上に乗った状態で、ボールBの側面がボール溝1102と第二の案内板1104に囲まれた状態となる。そして、ボールBは、回転板1101の下方で右側まで転がって移動する。
【0105】
ここで、回転板1101の外周端の右側の所定領域の一部の真上には、カメラ10が設置され、回転板1101の外周端の右側の所定領域の一部を撮影領域Aとして撮影する。このカメラ10によって、回転板1101が回転して、ボール溝1102に囲まれたボールBが傾斜面10aの上方から下方に転がる状態が撮影される。これにより、ボール溝1102を所定の移動速度で移動させることで、当該ボール溝1102に入ったボールBを所定の移動速度で転がすことが可能となる。
【0106】
尚、ボールBの移動方法に特に限定は無く、例えば、複数の突起部が一つのボールBが入り込むことが可能な間隔を空けて設けられた無端状の回転ベルトを採用しても良いし、他の移動方法を採用しても構わない。
【0107】
又、回転板1101の外周端の下方の一部から、板1100の下方まで延出され、第二の案内板1104の下方部分に対して板1100の左右方向に所定の間隔を空けて、ボールBを下方に案内可能な第一の排出板1105が設けられる。そして、回転板1101の外周端の下方には、第二の案内板1104と第一の排出板1105との間の第一の排出部が設けられる。第一の開閉シャッター1106は、第一の排出部の入口で、回転板1101の外周端の下方に沿って開閉可能に設けられる。又、第二の排出板1107は、回転板1101の外周端の下方の他部から、板1100の下方まで延出されている。第二の排出板1107は、第一の排出板1105に対して板1100の左右方向に所定の間隔を空けて設けられている。そして、回転板1101の外周端の下方には、第一の排出板1105と第二の排出板1107との間の第二の排出部が設けられる。第二の開閉シャッター1108は、第二の排出部の入口で、回転板1101の外周端の下方に沿って開閉可能に設けられる。更に、第二の排出板1107から回転板1101の下方で左側に第三の排出部が設けられる。
【0108】
ここで、選別装置12がボールBを第一の排出部に排出する場合は、第一の開閉シャッター1106を開放すれば良く、第二の排出部へボールBを排出する場合は、第一の開閉シャッター1106を閉塞するとともに、第二の開閉シャッター1108を開放すれば良く、第三の排出部へボールBを排出する場合は、第一の開閉シャッター1106と第二の開閉シャッター1108とを閉塞すれば良い。これにより、ボールBを三つの排出部に選別して移動させることが可能となる。尚、選別装置12に特に限定は無く、多種多様に構成することが出来る。
【実施例】
【0109】
以下、実施例等によって本発明の効果を具体的に説明するが、本発明はこれにより限定されるものではない。
【0110】
先ず、
図1-
図2に基づいて、ボール外観認識装置1を試作し、このボール外観認識装置1を実施例とし、これを用いて、ゴルフボールの外観認識を実施した。尚、判別条件は、
図8-
図10の第一の判別条件から第三の判別条件に従った。
図12Aに示すように、ボール外観認識装置1のカメラ10の撮影領域Aにおいて、所定のゴルフボールBが右側から左側に向かって転がって行くと、ゴルフボールのボール画像BPに、ロゴに対応する必須画像RPが表れたため、人工知能300により、必須画像認識数が「1」だけ積算される。又、ボール画像BPの色情報が「0.42・・・」と取得される。更に、ゴルフボールが転がると、ボール画像BPに、汚れに対応する汚れ不良画像NPが表れて、人工知能300により、汚れ不良画像認識数が「1」だけ積算される。更に、ゴルフボールの回転により、ボール画像BPに、識別番号に対応する必須画像RPが表れると、人工知能300により、必須画像認識数が「1」だけ積算される。
【0111】
そして、ゴルフボールが一回転して、
図12Bに示すように、ボール画像BPに、ロゴに対応する必須画像RPが表れると、人工知能300により、必須画像認識数が「1」だけ積算され、更に、ボール画像BPに、ロゴに対応する必須画像RPと、識別番号に対応する必須画像RPが表れると、人工知能300により、必須画像認識数が「2」だけ積算される。そして、ボール画像BPが認識ラインLを通過すると、必須画像認識数が「1」以上となり、汚れ不良画像認識数が「1」となり、色情報が「0.42・・・」となるため、このゴルフボールのボール画像BPが、必須画像認識数が「1」以上で、不良画像認識数が第一の閾値の「1」以上で、且つ、色情報が色範囲(「0.40」≦色情報≦「1」)内である第二の判別条件に該当する。そこで、このゴルフボールは不良品ボールと判別される。ここで、ゴルフボールが不良品ボールと判別されると、
図12Bに示すように、撮影画像に黄色の画像が表示される。尚、ゴルフボールが良品ボールと判別されると、撮影画像に青色の画像が表示され、ゴルフボールが異種品ボールと判別されると、撮影画像に赤色の画像が表示されるようにしても良い。このように、ユーザーに注意喚起を示すために、判別結果に応じた色の画像を表示するようにしても良い。
【0112】
ここで、ゴルフボールを撮影領域Aに所定数、転がして確認したところ、新品に近いゴルフボールには良品ボールと判別され、傷や汚れがあるゴルフボールには不良品ボールと判別され、正規品と異なるゴルフボールには、必須画像RPが無いため、異種品ボールと判別された。これらの判別精度を確認したところ、ほぼ100%の判別精度であった。このように、実施例では、転がるボールのボール画像に基づいて、ボールの判別を精度高く行うことが可能であることを確認出来た。
【0113】
尚、本発明の実施形態では、ボール外観認識装置1が各制御部を備えるよう構成したが、当該各制御部を実現するプログラムを記憶媒体に記憶させ、当該記憶媒体を提供するよう構成しても構わない。当該構成では、プログラムを装置に読み出させ、当該装置が各部を実現する。その場合、記録媒体から読み出されたプログラム自体が本発明の作用効果を奏する。さらに、各部が実行するステップをハードディスクに記憶させる方法として提供することも可能である。
【産業上の利用可能性】
【0114】
以上のように、本発明に係るボール外観認識装置及びボール外観認識方法は、ボールを判別して選別するあらゆる分野においてボールの外観を認識する装置及び方法として有効であり、転がるボールのボール画像に基づいて、様々なボールの種類の判別を精度高く行うことが可能なボール外観認識装置及びボール外観認識方法として有効である。
【符号の説明】
【0115】
1 ボール外観認識装置
10 カメラ
11 端末装置
12 選別装置
101 撮影制御部
102 検出制御部
103 必須画像積算制御部
104 不良画像積算制御部
105 色情報算出制御部
106 繰り返し制御部
107 判別制御部
【要約】
【解決手段】撮影制御部101は、所定の面を転がるボールを含む撮影画像を撮影する。検出制御部102は、人工知能を用いて、ボール画像と、必須画像と、不良画像とを検出する。必須画像積算制御部103は、必須画像がボール画像の内部に存在する場合に、必須画像の存在回数を必須画像認識数として積算する。不良画像積算制御部104は、不良画像がボール画像の内部に存在する場合に、不良画像の存在回数を不良画像認識数として積算する。色情報算出制御部105は、前記ボール画像から、前記ボールの表面色を示す色情報を算出する。繰り返し制御部106は、前記ボール画像が、前記撮影画像内に設けられた所定の認識ラインを通過するまで繰り返す。判別制御部107は、前記必須画像認識数と、前記不良画像認識数と、前記色情報とに基づいて、前記ボール画像のボールを、良品ボールか、不良品ボールか、異種品ボールかのいずれかに判別する。
【選択図】
図1