(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023008359
(43)【公開日】2023-01-19
(54)【発明の名称】タイヤサイドウォール部に形成された情報の光学文字認識(OCR)方法、及びその方法を用いた光学文字認識装置
(51)【国際特許分類】
G06V 30/146 20220101AFI20230112BHJP
B60C 19/00 20060101ALI20230112BHJP
B60C 13/00 20060101ALI20230112BHJP
G06T 7/00 20170101ALI20230112BHJP
【FI】
G06K9/32
B60C19/00 J
B60C13/00 A
G06T7/00 610
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021111871
(22)【出願日】2021-07-06
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
(71)【出願人】
【識別番号】510098630
【氏名又は名称】中央海産株式会社
(74)【代理人】
【識別番号】100119297
【弁理士】
【氏名又は名称】田中 正男
(72)【発明者】
【氏名】田中文敏
【テーマコード(参考)】
3D131
5B029
5L096
【Fターム(参考)】
3D131BB01
3D131BB06
3D131BC55
3D131GA01
3D131LA24
5B029AA05
5B029BB02
5B029BB17
5B029EE03
5L096AA02
5L096BA04
5L096BA17
5L096CA05
5L096EA27
5L096EA28
5L096FA04
5L096FA09
5L096FA15
5L096FA24
5L096FA62
5L096FA64
5L096FA66
5L096FA69
(57)【要約】 (修正有)
【課題】車両から取り外されたタイヤのサイドウォール部に形成されている情報を読取り、タイヤ管理情報として簡便にデータベース化する光学文字認識方法及び光学文字認識装置を提供する。
【解決手段】光学文字認識装置において、タイヤサイドウォール部を撮像した画像に対し円検出法を施してタイヤサイドウォール部に相当する基準円を検出し、基準円の推定中心座標と画像の各画素の座標とから、基準円の推定半径を求め、各画素の座標を直線変換座標計算式により、直線の座標1に変換し、画像を第1の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第1の帯状画像とし、第1の帯状画像を色分布の領域で上下方向に領域分割し、領域分割された第1の帯状画像を色分布により左右方向に領域分割し、上下方向、及び左右方向に分割された領域毎に、光学文字認識により、領域に含まれる情報を英数字を示すテキストデータとして生成する。
【選択図】
図9
【特許請求の範囲】
【請求項1】
タイヤサイドウォール部をカメラにより撮像し、得られたタイヤサイドウォール部の画像を光学文字認識することにより、前記画像に含まれる情報を英数字を示すテキストデータとして生成する、タイヤサイドウォール部に形成されている情報の光学文字認識方法において、
前記画像に対し円検出法を施すことにより、前記タイヤサイドウォール部に相当する基準円を検出し、前記基準円の推定中心座標(cx,cy)と前記画像の各画素の座標(xn、yn)とから、前記基準円の推定半径(rn1)を求め、
前記各画素の座標(xn、yn)を直線変換座標計算式により、直線の座標1(Xn1,Yn1)に変換し、前記画像を第1の直線状のタイヤサイドウォール部画像とし、
前記第1の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第1の帯状画像とし、前記第1の帯状画像を前記色分布の領域で上下方向に領域分割し、
前記領域分割された前記第1の帯状画像を前記色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成することを特徴とするタイヤサイドウォール部に形成されている情報の光学文字認識方法。
【請求項2】
前記第1の帯状画像の色分布の領域境界から、前記カメラと前記タイヤサイドウォール部との高さ及び/又は距離の違いによる前記推定中心座標(cx,cy)のズレを補正する中心補正パラメータZを求め、前記中心補正パラメータZにより補正した前記基準円の中心座標(CX,CY)と、基準円の半径(Rn1)とを求め、
前記各画素の座標(xn、yn)を直線変換座標計算式により、直線の座標2(Xn2,Yn2)に変換し、第2の直線状のタイヤサイドウォール部画像とし、
前記第2の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第2の帯状画像とし、前記第2の帯状画像を前記色分布により上下方向に領域分割し、
前記領域分割された前記第2の帯状画像を前記色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成するタイヤサイドウォール部に形成されている情報の光学文字認識方法。
【請求項3】
前記第1の直線状のタイヤサイドウォール部画像を減色処理することを特徴とする請求項1に記載のタイヤサイドウォール部に形成されている情報の光学文字認識方法。
【請求項4】
前記第2の直線状のタイヤサイドウォール部画像を減色処理することを特徴とする請求項2に記載のタイヤサイドウォール部に形成されている情報の光学文字認識方法。
【請求項5】
タイヤサイドウォール部をカメラにより撮像し、得られたタイヤサイドウォール部の画像を光学文字認識することにより、前記画像に含まれる情報を英数字を示すテキストデータとして生成する、タイヤサイドウォール部に形成されている情報の光学文字認識方法において、
前記タイヤサイドウォール部の画像をアングルの異なる複数台のカメラで撮像し、得られた複数枚のタイヤサイドウォール部画像のぞれぞれの画像に対し円検出法を施すことにより、前記タイヤサイドウォール部に相当する基準円をそれぞれ検出し、
前記基準円の推定中心座標(cx,cy)と、前記画像の各画素の座標(xn、yn)ととから、前記基準円の推定半径(rn1)をそれぞれ求め、
前記各画素の座標(xn、yn)を直線変換座標計算式により、それぞれ直線の座標1(Xn1,Yn1)に変換し、それぞれ第1の直線状のタイヤサイドウォール部画像とし、
前記第1の直線状のタイヤサイドウォール部画像のそれぞれを、それぞれ複数の色分布の領域からなる第1の帯状画像とし、
前記複数の第1の帯状画像のそれぞれについて、色分布の領域毎に特徴点を抽出し、前記特徴点を前記第1の帯状画像にそれぞれマッピングし、
前記マッピングした特徴点により、前記第1の帯状画像を重ね合わせ、第2の帯状画像とし、前記第2の帯状画像を色分布の領域で上下方向に領域分割し、
前記領域分割された前記第2の帯状画像を色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成することを特徴とする、タイヤサイドウォール部に形成されている情報の光学文字認識方法。
【請求項6】
タイヤサイドウォール部を撮像するカメラにより得られた画像から、タイヤサイドウォール部に形成されている情報を光学的に認識し、テキストデータとして生成する光学文字認識装置であって、
前記画像に対し円検出法により、前記タイヤサイドウォール部に相当する基準円を検出する基準円検出部と、
前記基準円の推定中心座標(cx,cy)と、前記画像の各画素の座標(xn,yn)とから求められる前記基準円の推定半径(rn1)とを用い、直線変換座標計算式により直線の座標1(Xn1,Yn1)に変換し、前記画像を第1の直線状のタイヤサイドウォール部画像に変換する直線変換部と、
前記第1の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第1の帯状画像に生成する第1の帯状画像生成部と、
前記第1の帯状画像を複数の色分布で上下方向に領域分割し、前記領域分割された前記第1の帯状画像を色分布により左右方向に領域分割する領域分割部と、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成する光学文字認識部とを備えたことを特徴とする光学文字認識装置。
【請求項7】
前記第1の帯状画像の色分布の領域境界から、前記カメラと前記タイヤサイドウォール部との高さ(距離)の違いによる前記推定中心座標(cx,cy)のズレを補正する中心補正パラメータZを求める中心座標補正手段を更に備えたことを特徴とする請求項6に記載の光学文字認識装置。
【請求項8】
前記直線変換部は、前記中心補正パラメータZにより補正された中心座標(CX,CY)により、前各画素の座標を(xn,yn)を直線変換座標計算式により、直線の座標2(Xn2,Yn2)に変換し、第2の直線状のタイヤサイドウォール部画像とする手段をさらに備えたことを特徴とする請求項6に記載の光学文字認識装置。
【請求項9】
前記第1の直線状のタイヤサイドウォール部画像、及び/又は前記画像を第2の直線状のタイヤサイドウォール部画像を減色処理する減色処理部を備えたことを特徴とする請求項6又は7に記載の光学文字認識装置。
【請求項10】
請求項6に記載の光学文字認識装置において、
複数台のカメラと、
前記複数台のカメラにより撮像された複数の画像について、前記第1の帯状画像生成部により生成された複数の第1の帯状画像の色分布の領域毎に特徴点を抽出し、前記特徴点を前記第1の帯状画像のそれぞれにマッピングする特徴点マッピング部と、
前記マッピングした局所特徴量により、前記第1の帯状画像を重ね合わせる画像合成部とをさらに備えたことを特徴とする光学文字認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車、バイク等のタイヤの側面(サイドウォール部)に形成されている各種の情報を取得するための光学文字認識方法、及びその方法を用いた光学文字認識装置に関する。
【背景技術】
【0002】
自動車等の車両のタイヤの側面(サイドウォール部)には、そのタイヤの幅、扁平率、速度記号、タイヤ構造記号、サイズ、製造メーカー名、タイヤ銘柄、工場コード、セリアル番号、製造国名、製造年周、規格適合マークなど様々な情報が凹凸等によって形成されている。
【0003】
これらの情報はタイヤを管理する上で必要不可欠なものであり、タイヤを製造販売しているタイヤメーカにおいては、タイヤを製造する際に形成するセリアル番号等の情報が正しくタイヤサイドウォール部に表示されていることを保証するため、タイヤサイドウォール部に形成されている情報を検出して、適切な表示がなされているか否かの検査を行っている。
【0004】
下記特許文献1は、タイヤサイドウォール部に形成された色によって識別されるカラーマーク等の色表示部、及び、表面凹凸によって識別される文字や標章等の凹凸表示部を含む情報表示部を、1つの撮像ユニットによって撮像して、情報表示部それぞれを検出することができる情報表示部の検出方法及び検出システムを開示している。
【0005】
特許文献1に記載の技術は、タイヤのサイドウォールに形成された情報表示部を検出する際、照明光で照明したタイヤサイドウォール部の表面の第1の撮像を行う処理と、照明光で照明したタイヤサイドウォール部の表面の第2の撮像を、第1の撮像における露光量より大きい露光量で行う処理と、第1の撮像で得られる撮像画像から色表示部を検出し、第2の撮像で得られる撮像画像から凹凸表示部を検出する処理とを行うものである。
【0006】
特許文献1に記載の技術によれば、タイヤサイドウォール部に形成されている各種情報の場所が特定され、特定された情報表示部の画像が機械的に撮像される。しかし、かかる画像からタイヤサイドウォール部に形成されている情報が適切であるか否かの判読は、目視により行わなければならない。また、画像から得られた情報を活用するには、その情報を手入力によりデータベースに入力しなければならない、という問題がある。
【0007】
下記特許文献2に記載の技術は、タイヤ表面の刻印文字などの標示の検査を自動で行う自動検査装置であって、所定の位置における図形の有無を判定するため、タイヤサイドウォール部に光を照射し、そこをカメラで撮像して、文字又は文字列に相当する画像データを読み込んで画像処理を行い、画像データを凹凸に応じた文字列に変換し、変換された文字列を、予め記憶しておいた文字列と比較する処理を行うことで、所定の位置に所定の文字列として適切に表示されているか否かを検査する、というものである。
【0008】
しかし特許文献2に記載の技術は、撮像時の光の当たり具合などによっては撮像画像から文字列に変換できない場合がある。また、タイヤサイドウォール部の文字は、形成されている字体やサイズがまちまちであり、かつ文字と背景のコントラスト比が低く、明度にムラがある。さらにタイヤサイドウォール部は曲面であり、曲面上に情報が形成されていることから、その形状に歪みが生じている。このため画像から文字列に変換できないケースが頻繁に発生し、目視による検査を併せて行わなければならない、という問題がある。
【0009】
タイヤサイドウォール部に形成されている情報は、タイヤの保管サービスを行うタイヤ保管事業者にとっても重要である。タイヤの保管管理にあたっては、タイヤ所有者(保管契約を結ぶ者)と保管タイヤとを紐づけて管理する必要がある。かかる紐づけはタイヤに保管タイヤの管理番号(QRコード等を印刷したラベル)を貼付し、貼付したラベルと契約者情報とを紐づけることで行われるのが一般的である。しかし、タイヤは転がすことがあり保管タイヤの管理番号(QRコード等を印刷したラベル)が、タイヤから剝がれてしまう場合等がある。
【0010】
かかるリスクは、タイヤサイドウォール部に形成されている情報と、契約者とを紐づけることで回避することができ、保管上のトラブルも防止することができる。さらにこられの情報はタイヤ交換時期の予測等、様々なサービスの提供に寄与する基礎データとなる。
【0011】
このため近年タイヤ保管事業においては、保管するタイヤの構造、サイズ、タイヤ製造メーカ名、工場コード、セリアル番号、製造国名等をタイヤ管理のデータとして蓄積し、タイヤ情報に付加価値をつけて、契約者やディーラ、タイヤ製造メーカ等に提供する、というサービスが始まっている。
【0012】
しかし、目視によりタイヤサイドウォール部に形成されている情報を読取り、様々な情報をタイヤ管理データベースに手入力するには、多大な労力と時間が必要である。また入力間違いや、判別者によるバラツキ(個人差)等、入力されたデータの信頼性についての問題がある。
【0013】
このため、タイヤサイドウォール部に形成されている情報を簡便かつ確実に読取り、読取った情報をタイヤ管理情報としてデータベース化する技術が求められている。しかし、これまでのところ、そうした技術は確立されてはいない。これはタイヤサイドウォール部に形成された文字は、字体やサイズがまちまちであり、かつ文字と背景のコントラスト比が低く、明度にムラがあり、かつタイヤサイドウォール部は曲面であり、情報が曲面上に形成されていることから、その形状に歪みが生じるため、確実な撮像画像から文字列への変換ができないためである。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2019-172120号公報
【特許文献2】特開平10-115508号公報
【発明の開示】
【発明が解決しようとする課題】
【0015】
そこで本発明の課題は、自動車・バイク等の車両から取り外されたタイヤのサイドウォール部に形成されている情報を簡便かつ確実に読取り、読取った情報をタイヤ管理情報として簡便にデータベース化する技術を提供することを課題とする。
【課題を解決するための手段】
【0016】
上記課題を解決するための本発明は,
タイヤサイドウォール部をカメラにより撮像し、得られたタイヤサイドウォール部の画像を光学文字認識することにより、前記画像に含まれる情報を英数字を示すテキストデータとして生成する、タイヤサイドウォール部に形成されている情報の光学文字認識方法において、
前記画像に対し円検出法を施すことにより、前記タイヤサイドウォール部に相当する基準円を検出し、前記基準円の推定中心座標(cx,cy)と前記画像の各画素の座標(xn、yn)とから、前記基準円の推定半径(rn1)を求め、
前記各画素の座標(xn、yn)を直線変換座標計算式により、直線の座標1(Xn1,Yn1)に変換し、前記画像を第1の直線状のタイヤサイドウォール部画像とし、
前記第1の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第1の帯状画像とし、前記第1の帯状画像を前記色分布の領域で上下方向に領域分割し、
前記領域分割された前記第1の帯状画像を前記色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成することを特徴とするタイヤサイドウォール部に形成されている情報の光学文字認識方法、である。
【0017】
カメラで撮像した画像から円を検出する方法としては、例えばハフ(Hough)変換による円検出アルゴリズムを用いてタイヤ画像の円中心を抽出するものがある。あるいは、 CACD (Curvature aided Hough transform circle detection)、RCD (Randomized Circle Detection)、EDCircles、QGAR等があげられる。
【0018】
検出した基準円の推定中心座標(cx,cy)を中心とする各画素の座標(xn、yn)を直線の座標1(Xn1,Yn1)に変換する直線変換座標計算式は、推定中心座標(cx,cy)から、各円を構成する画素(xn、yn)の値は、半径rn1とすると、xn=cx+rn1cos(θ)、yn=cx+rn1sin(θ)となる。かかる円を構成する画素の座標を、X軸を角度(θ)、Y軸を半径(rn1)とする直交座標に変換すると、θn=arctan((yn-cy)/(xn-cx))、rn1=√((xn-cx)2+(yn-cy)2)となる。なお、直線変換座標は(θn, rn1)と表記することもできる。
【0019】
上記直線変換座標計算式により直線化された第1の直線状のタイヤサイドウォール部画像を減色処理して複数の色分布の領域からなる第1の帯状画像とする。複数の色分布(3から6種類程度)の帯状画像とすることで、光学文字認識時の変換エラーの要因となる不要なノイズを除去することができる。
【0020】
次に、前記第1の帯状画像を前記色分布の領域で上下方向に領域分割し、前記領域分割された前記第1の帯状画像をさらに色分布により左右方向に領域分割する。これにより情報が含まれる領域と含まない領域とを区別することができる。そして、色分布により上下方向、及び左右方向に分割された領域毎に、そこに含まれる情報を変換することで、光学文字認識の精度を高めることができる。
【0021】
前記第1の帯状画像の色分布の領域境界から、前記カメラと前記タイヤサイドウォール部との高さ(距離)の違いによる前記推定中心座標(cx,cy)のズレを補正する中心補正パラメータZを求め、前記中心補正パラメータZにより前記基準円の中心座標を中心座標(CX,CY)と補正し、前記各画素の座標(xn、yn)を直線変換座標計算式により、直線の座標2(Xn2,Yn2)に変換し、第2の直線状のタイヤサイドウォール部画像とし、
前記第2の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第2の帯状画像とし、前記第2の帯状画像を前記色分布により上下方向に領域分割し、
前記領域分割された前記第2の帯状画像を前記色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成する。
【0022】
タイヤサイドウォール部は曲面状に構成されているため、カメラとタイヤサイドウォール部との高さ(距離)がタイヤサイドウォール部の部位により異なる。これにより生じる基準円の推定中心座標(cx,cy)のズレを補正する必要がある。かかるズレを中心補正パラメータZで補正する。中心補正は、例えば、タイヤサイドウォール部を直線変換した場合、基準円からの境界面の変動が大きいほど、変動幅が大きくなる。各領域の境界の中心座標(CX,CY)とした場合の、その画素の座標(xn、yn)と、その半径から中心補正パラメータZを逆算する(Z=CX/cx,Z=CY/cy)ことで求めることができる。
【0023】
中心補正パラメータで補正された基準円の中心座標(CX,CY)、半径(Rn2)、タイヤサイドウォール部を構成する各画素の座標(xn、yn)を直線変換座標計算式に適用し、直線の座標2(Xn2,Yn2)を求め、第2の直線状のタイヤサイドウォール部画像を取得する。第2の直線状のタイヤサイドウォール画像は、第1の直線状のタイヤサイドウォール部画像よりも歪が少ないため光学文字認識の精度が高まる。
【0024】
前記第1の直線状のタイヤサイドウォール部画像、及び/又は前記第2の直線状のタイヤサイドウォール部画像を減色処理することは好適である。タイヤサイドウォール部画像の色数を、例えば3色から6色減らすことで、色分布による領域分割が容易になる。減色処理としては、例えばK-means法による減色処理方法が好適である。
【0025】
本発明は、タイヤサイドウォール部をカメラにより撮像し、得られたタイヤサイドウォール部の画像を光学文字認識することにより、前記画像に含まれる情報を英数字を示すテキストデータとして生成する、タイヤサイドウォール部に形成されている情報の光学文字認識方法において、
前記タイヤサイドウォール部の画像をアングルの異なる複数台のカメラで撮像し、得られた複数枚のタイヤサイドウォール部画像のぞれぞれの画像に対し円検出法を施すことにより、前記タイヤサイドウォール部に相当する基準円をそれぞれ検出し、
前記基準円の推定中心座標(cx,cy)と、前記画像の各画素の座標(xn、yn)ととから、前記基準円の推定半径(rn1)をそれぞれ求め、
前記各画素の座標(xn、yn)を直線変換座標計算式により、それぞれ直線の座標1(Xn1,Yn1)に変換し、それぞれ第1の直線状のタイヤサイドウォール部画像とし、
前記第1の直線状のタイヤサイドウォール部画像のそれぞれを、それぞれ複数の色分布の領域からなる第1の帯状画像とし、
前記複数の第1の帯状画像のそれぞれについて、色分布の領域毎に特徴点を抽出し、前記特徴点を前記第1の帯状画像にそれぞれマッピングし、
前記マッピングした特徴点により、前記第1の帯状画像を重ね合わせ、第2の帯状画像とし、前記第2の帯状画像を色分布の領域で上下方向に領域分割し、
前記領域分割された前記第2の帯状画像を色分布により左右方向に領域分割し、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成することを特徴とする、タイヤサイドウォール部に形成されている情報の光学文字認識方法、である。
【0026】
カメラで撮像するタイヤ径は様々であり、1台のカメラでは撮像できない場合がある。かかる場合には、複数台のカメラでタイヤサイドウォール部を撮像し、複数のタイヤサイドウォール部画像を取得する。各カメラで撮像した複数のタイヤサイドウォール部画像のそれぞれについての基準円を検出し、基準円の推定中心座標(cx,cy)と基準円の推定半径(rn1)と、タイヤサイドウォール部画像の各画素の座標(xn、yn)とを求め、直線変換座標計算式により、直線の座標1(Xn1,Yn1)に変換し、複数の第1の直線状のタイヤサイドウォール部画像を取得する。
【0027】
そして得られた複数の第1の直線状のタイヤサイドウォール部画像を、それぞれ複数の色分布の領域からなる複数の第1の帯状画像とし、それぞれについて色分布の領域毎に特徴点を抽出し、前記特徴点を前記複数の第1の帯状画像にそれぞれマッピングする。
【0028】
次に、特徴点がマッピングされた複数枚の第1の帯状画像を、特徴点により重ね合わせ第2の帯状画像とする。これにより、複数台のカメラで取得した複数のタイヤサイドウォール部画像が一つの帯状画像となる。かかる帯状画像について、色分布の領域で上下方向に領域分割し、領域分割された帯状画像の左右方向の色分布により領域分割し、上下方向、及び左右方向に分割された領域毎に、光学文字認識により、領域に含まれる情報を英数字を示すテキストデータとして生成することで、タイヤ径の大小に関わらず、タイヤサイドウォール部に形成されている情報を英数字を示すテキストデータに変換することができる。
【0029】
さらに本発明は、タイヤサイドウォール部を撮像するカメラにより得られた画像から、タイヤサイドウォール部に形成されている情報を光学的に認識し、テキストデータとして生成する光学文字認識装置であって、
前記画像に対し円検出法により、前記タイヤサイドウォール部に相当する基準円を検出する基準円検出部と、
前記基準円の推定中心座標(cx,cy)と、前記画像の各画素の座標(xn,yn)とから求められる前記基準円の推定半径(rn1)とを用い、直線変換座標計算式により直線の座標1(Xn1,Yn1)に変換し、前記画像を第1の直線状のタイヤサイドウォール部画像に変換する直線変換部と、
前記第1の直線状のタイヤサイドウォール部画像を複数の色分布の領域からなる第1の帯状画像に生成する第1の帯状画像生成部と、
前記第1の帯状画像を複数の色分布で上下方向に領域分割し、前記領域分割された前記第1の帯状画像を色分布により左右方向に領域分割する領域分割部と、
前記上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成する光学文字認識部とを備えたことを特徴とする光学文字認識装置、である。
【発明の効果】
【0030】
本発明により、自動車・バイク等の車両から取り外されたタイヤのサイドウォール部に形成されている情報を簡便かつ確実に読取り、読取った情報をタイヤ管理情報として簡便にデータベース化する技術を提供することが可能になった。
【発明を実施するための最良の形態】
【0031】
以下、実施例の図面を参照して、本発明の好ましい実施形態について説明する。
図1は、本発明の一実施例であるタイヤ側面(タイヤサイドウォール部)に含まれる情報の光学文字認識装置1の構成を示す斜視図である。この装置1は、タイヤ10を載置する回転テーブル20、タイヤ10のサイドウォール部を撮像する撮像部40、撮像部40を所定の高さで保持するアーム30、撮像部40からの画像を格納処理等する測定管理部100、バーコードリーダ60を備える。測定管理部100はパソコン101、撮像された画像を表示するディスプレイ102を有し、画像データ処理部200とネットワークを介して接続している。
【0032】
撮像部40はカメラ41と光源(図示されていない)とを含み、カメラ41は1台あるいは複数台であり、撮像するタイヤサイズとカメラの設置高さに応じて適宜必要な台数とし、光源は点光源に限定されず、面光源あるいは点光源を並べたものを含む。
【0033】
タイヤ10は、回転テーブル20上にタイヤサイドウォール部が水平になるように載置され、図示していない回転機構により、タイヤの中心軸の回りに自在に回転しうるように載置されている。この一実施例の装置において、カメラ41はタイヤ10のサイドウォール部を、その表面に形成されている情報を含め、画像として撮像するものである。
【0034】
図2はタイヤ及びタイヤサイドウォール部の模式的斜視図である。タイヤサイドウォール部には、そのタイヤの幅、扁平率、速度記号、タイヤ構造記号、サイズ、製造メーカ名、タイヤ銘柄、工場コード、セリアル番号、製造国名、製造年周、規格適合マークなど様々な情報が凹凸等によって形成されている。タイヤに空気が入った状態では、タイヤサイドウォール部の表面は中央部が盛り上がった曲面形状となる。かかる曲面上にあらわれている情報は歪んでいるため、その光学的な認識は平面上にあらわれている文字等を認識するのに比べ容易でない。また、タイヤサイドウォール部に形成されている文字等は、字体やサイズがまちまちであり、かつ文字と背景のコントラスト比が低く、明度にムラがあり高精度で認識することが難しい。
【0035】
図3は本発明の一実施例であるタイヤサイドウォール部に形成されている情報の光学文字認識装置1のブロック構成図である。光学文字認識装置1は、タイヤの識別ラベルを読込むバーコードリーダ60、タイヤのサイドウォール部を撮像するカメラ41と光源42とを有する撮像部40、これらを制御し画像データを受信する測定管理部100、測定管理部100から送信されてくるデータを処理し、タイヤサイドウォール部に形成されている情報を検出しデータベース化する画像データ処理部200とを備える。
【0036】
カメラは市販のディジタルカメラを適用することができ、メモリーやディスプレイは手持ちのパソコンを利用することができる。本装置の製作費は極めて安価となり、メンテナンスにも格別の費用や手間を要しない。また、装置の操作も誰でも実行できるように簡便であるという利点を有している。なお、ディジタルカメラには、USBカメラ、ウェブカメラを含む。
【0037】
バーコードリーダ60からのタイヤ管理番号のデータは、撮像部40からの画像データと紐づけされデータ管理部130に格納される。データ管理部130は、測定部140の実行履歴の確認、リセットボタン120による測定部140の再起動等の制御を行う。
【0038】
測定部140は撮像部40、バーコードリーダ60へ実行命令を発行し、これらから送られてくるデータを測定毎にデータファイル150に格納する。データの保存は、測定日時、バーコードリーダ60が読取ったタイヤ管理番号と紐づけてデータファイル150に格納される。データファイル150に格納されたデータは、アップロード部170により画像データ処理部200に送信される。作業キュー160はデータが画像データ処理部200への送信履歴の確認等を行う。
【0039】
画像データ処理部200は、測定管理部100からのデータを受信するデータ受取部210、タイヤサイドウォール部の画像に含まれる情報を読取る画像データ読取部220、タイヤサイドウォール部が複数台のカメラで撮像された場合、複数の画像を一つの画像に合成する画像合成部230、画像データ読取部220で読取った情報を格納するデータストレージ250、タイヤ管理番号に紐づけされているデータをデータベース化するデータベース240を有する。
【0040】
画像データ読取部220は、タイヤサイドウォール部の画像に対し、円検出法、例えばハフ変換法によりタイヤサイドウォール部に相当する基準円を検出する基準円検出部221、検出した基準円を直線に変換する直線変換部222、直線状に変換されたタイヤサイドウォール部の画像を減色し、帯状画像を生成する減色・帯状画像生成部223、帯状画像を色分布により領域分割する領域分割部224、そして分割された各領域に形成されている情報をテキストとして読取る光学文字認識部225とを有する。
【0041】
基準円検出部221は、測定管理部100から送信されてくる画像に対し円検出を施す手段を備えるが、画像に含まれるカメラの歪を補正する手段を更に備えることは好適である。基準円検出部221は、画像に対し円検出法、例えばハフ(Hough)変換アルゴリズムを施し基準円を検出する。なお、円検出法としては、ハフ変換法に派生する各種検出法、例えばCACD (Curvature aided Hough transform circle detection)、RCD (Randomized Circle Detection)等があげられる。また、図には示されていないが、基準円の推定中心座標のズレを補正する中心座標補正手段を備えることは好適である。
【0042】
図4はカメラ41によりタイヤサイドウォール部の画像に対し、円検出法により検出された円(基準円)と、その中心座標(cx,cy)を模式的に示した図である。
図4(a)に示すようにカメラ41によりタイヤサイドウォール部を撮像する場合、カメラ41の中心とタイヤの中心点とがずれる場合がある。また、タイヤサイドウォール部は曲面であることから、カメラ41とタイヤサイドウォール部との高さが場所(部位)により異なる。
【0043】
この結果、カメラ41で撮像した画像に対し円検出法により検出された円は、中心座標の異なる複数の円、例えばC1からC4の円が検出される。ここで、円C1の中心座標を(cx1,cy1)、円C2の中心座標は円C1の中心座標とは異なる(cx2,cy2)、以下、円C3の中心座標は(cx3,cx3)、円C4の中心座標は(cx4,cy4)となる。
【0044】
円検出法により検出された円の共通の中心座標として、例えば、円C1の中心座標(cx1,cy1)を推定中心座標(cx,cy)とし、かかる推定中心座標(cx,cy)から、各円を構成する画素の座標(xn、yn)とし、各画素までの半径を推定半径(rn1)とする。
【0045】
推定中心座標(cx,cy)、各円を構成する各画素の座標(xn、yn)、推定中心座標(cx,cy)から各画素の座標(xn、yn)までの距離を推定半径(rn1)として、円を構成する各画素の座標(xn、yn)を、直線に変換することで、光学文字認識装置1によるタイヤサイドウォール部に形成されている情報の読取り精度を上げることができる。
【0046】
図5は円を構成する座標を直線の座標に変換する座標変換式と、直線に変換された各画素の座標をX軸(角度:θ)、Y軸(半径:r)としてプロットした図である。
図5(a)において、推定中心座標(cx,cy)を円C1の中心座標(cx1,cy1)とし、各円を構成する画素(x
n、y
n)までのX軸の距離x、Y軸の距離yは、推定中心座標(cx,cy)から各画素の座標(x
n、y
n)までの距離を半径r
n1とすると、x
n=cx1+r
n1cos(θ)、y
n=cx1+r
n1sin(θ)となる。かかる円を構成する画素の座標を、X軸をθ、Y軸をr
nとする直交座標に変換すると、θn=arctan((y
n-cy1)/(x
n-cx1))、r
n1=√((x
n-cx1)
2+(y
n-cy1)
2)となる。
【0047】
図5(b)は上記の式により、円C1、円C2、円C3、円C4を構成する各画素の座標を直線変換した図である。上述したようにカメラ41により撮像したサイドウォール部の画像がカメラ41の中心とタイヤの中心点とがずれ、及びタイヤサイドウォール部の曲面性とから、円検出法により検出された円の中心座標がそれぞれ異なる。この結果、円C1はX軸(θ)上、常に一定の推定半径(r
n1)であり直線となる。しかし、円C2から円C4はθにより、推定半径(r
n1)が変化するため、
図5(b)のように曲線となる。
【0048】
図6(b)は直線変換部222により、タイヤサイドウォール部の画像から検出した各円を構成する画素の座標(x
n、y
n)を、X軸をθn、Y軸をrnとする座標(θn,rn)に変換したタイヤサイドウォール部の直線変換図である。
図6に示すようにタイヤサイドウォール部の直線変換図は一部が歪んだ形状となる。
【0049】
これは上述したように見かけの中心がずれていることに起因するものである。ずれの無い円C1(半径rl1)の場合、円C1を構成する画素(xnl1,ynl1)は中心座標(cxl1,cyl1)から距離rl1上に分布する。しかし、中心がずれている円C2(半径rl2)の場合、円C2を構成する画素(xnl2,ynl2)は、中心座標(cxl2、cyl2)からの距離が半径rl2より大きくなったり小さくなったりする。
【0050】
例えば、角度θ1において、円C2の円周がrl2よりも長い(rl2+α)、θ2においては、円C2の円周がr2よりも短い(rl2-β)となると、角度θ1における円C1、円C2に挟まれる帯の幅は rl2+α-rl1、角θ2においてける円C1、円C2に挟まれる帯の幅はrl2-β-r11、となり、帯の幅が変化する(rl2> rl1とする)。
【0051】
ここで言う円は、実空間上の円であって、円C1、円C2も実空間上の円の中心は同一である。しかし円C2については、画像上の見かけ上の中心が推定中心座標(cxl1,cyl1)とはずれた位置になる。
【0052】
上述したように角度θ1においては、円C1、円C2に挟まれる帯の幅はrl
2+α―r1
1、角度θ2においては、円C1、円C2に挟まれる帯の幅はrl
2-β-r1
1となり帯の幅が変化する。帯の幅が変化すれば、完全な直線にならず、
図6(b)に示すようにタイヤサイドウォール部の直線変換図が歪む。かかる歪みが大きい場合は、後述する色分布による領域分割が難しくなるので、かかる歪みを補正するのが中心補正パラメータである。ただし、この中心補正などの処理は、精度を上げるために好適処理である。
【0053】
図7は基準円の中心補正の一例を示した図である。タイヤサイドウォール部の画像から検出された基準円の推定中心座標により、タイヤサイドウォール部を直線変換した場合、
図7に示すように基準円からの境界面の変動が大きいほど高さが異なる。各領域の境界を形成する円の中心座標を(CX,CY)とした場合、その画素の座標と、その半径とから中心補正パラメータZを逆算する(Z=CX/cx,Z=CY/cy)ことで求めることができる。各角度で、基準円からの境界面の変動が少なくなるようにする。
上記の他、カメラ41で撮像した画像に対し減色処理を行い、その後、円検出法を画像に施すことで、例えば、
図4(b)に示すようなC1からC4の4つの円が検出される。減色処理により検出された複数の円の中心座標から、各円の中心として最もズレが少なる座標を基準円の中心座標としても良い。
【0054】
直線変換部222により歪が補正された第1の直線状サイドウォール部画像は、減色・帯状画像生成部223により減色され、複数の色分布からなる第1の帯状画像に変換される。第1の帯状画像は、領域分割部224により色分布で上下方向、左右方向に領域分割される。
【0055】
図8は、領域分割部224により第1の帯状画像が色分布で領域分割される過程を示した図である。
図7に示すように歪補正された第1の帯状画像は、先ず、色の分布により上下方向に3領域に分割され、3領域のなかで情報が形成されている中央の領域を特定する。情報が形成されている領域の特定は、文字等の凹凸による陰影により、その領域の分色の分布が変わることにより行うことができる。
【0056】
上下方向の領域分割後、色分布で左右方向に領域分割を行い、情報(文字等)が形成されている領域と、そうでない領域とを分割する。情報が形成されている領域の特定は、文字等の凹凸による陰影により、その領域の分色の分布が変わることにより行うことができる。上下、左右方向に分割した後、領域毎に光学文字認識部225により、各領域に形成されている情報(文字等)をテキストデータとして認識し、データベース240に格納されている契約者情報等と紐づけされデータストレージ250に格納される。
【0057】
カメラで撮像するタイヤ径は様々であり、1台のカメラでは撮像できない場合がある。かかる場合には、複数台のカメラでタイヤサイドウォール部を撮像し、複数のタイヤサイドウォール部画像を取得する。
図3において、複数枚のタイヤサイドウォール部の画像を合成するのが画像合成部230である。各カメラで撮像した複数のタイヤサイドウォール部の画像のそれぞれについて基準円を検出し、基準円の推定中心座標(cx,cy)と基準円の推定半径(r
n1)とタイヤサイドウォール部画像の各画素の座標(x
n1、y
n1)とを、直線変換座標計算式に適用し、タイヤサイドウォーr部の画像を、それぞれ第1の直線状のタイヤサイドウォール部画像に変換する。
【0058】
特徴点抽出部231は、変換により得られた複数の第1の直線状のタイヤサイドウォール部画像をそれぞれ、複数の色分布の領域からなる第1の帯状画像とし、第1の帯状画像の色分布の領域毎に特徴点を抽出する。特徴点マッピング部232は、各領域毎の特徴点を第1の帯状画像のそれぞれにマッピングする。画像合成部233は、特徴点がマッピングされた複数の第1の帯状画像を、特徴点により重ね合わる。これにより、複数台のカメラで取得した複数のタイヤサイドウォール部画像が一つの帯状画像となる。
【0059】
図9は本発明の一実施形態であるタイヤサイドウォール部に形成されている情報の光学文字認識装置が実行する処理の流れを示すフローチャートである。先ず、タイヤのサイドウォール部をカメラにより撮像し、撮像された画像のカメラの歪みを補正する(S1,S2)。なお、カメラの歪み補正については、カメラの性能等により必ずしも必要とはされない。
【0060】
次に、タイヤサイドウォール画像の色をグレースケースに変換・ノイズ処理を行った後(S3)、タイヤサイドウォール画像に円検出法、本実施例ではハフ変換法によりタイヤ(基準円)の推定中心座標(cx、cy)とする基準円を検出する(S4)。
【0061】
次に、推定中心座標(cx,cy)の基準円の直線化処理1を実行する(S5)。直線化処理1は、半径を0~R、θ=0°~360°とし、基準円を構成する画像の座標(xn,yn)を求め、直線変換画像の座標計算式により、直線変換画像の座標(Xn1,Yn1)、即ち、X軸を角度(θn)、Y軸を半径(rn)とする座標に変換する(S8)。
【0062】
直線化変換画像の座標計算が終了するまでS6~S8のステップを繰り返し、直線化処理1が終了することで得られた直線状のタイヤサイドウォール画像を、例えばK-means法により減色・ノイズ処理する(S10)。なお、S10の減色・ノイズ処理は画像の色彩状況により適宜選択され、必ずしもこの処理を行う必要はない。
【0063】
次に、第1の直線状のタイヤサイドウォール画像を上下方向での色分布により領域分割し、第1の帯状画像を作成し(S11)、参照角度(0,90,180,270)毎の各領域の幅を比較する(S12)。タイヤサイドウォール部は曲面形状であるためカメラとタイヤサイドウォール部との高さが場所によって異なる。このため、検出された円(部位)の中心座標は推定中心座標(cx,cy)からずれる。かかるズレの補正を行うのが中心補正パラメータZである(S13)。
【0064】
中心補正パラメータZにより補正された第2の直線状のサイドウォール画像について減色処理・ノイズ処理を行い、第2の帯状画像を作成する(S21)。なお、S21の減色・ノイズ処理は画像の色彩状況により適宜選択され、必ずしもこの処理を行う必要はない。
【0065】
第2の帯状画像を色分布の領域で上下方向、及び左右方向に領域分割する(S22)。上下方向、及び左右方向に分割された領域毎に、光学文字認識により、前記領域に含まれる情報を英数字を示すテキストデータとして生成し、その内容で分類格納する(S23,S24,S25)。
【0066】
図10は複数台のカメラでタイヤサイドウォール画像を撮像し、撮像した複数の画像を一つのタイヤサイドウォール画像に合成する処理を示すフローチャートである。カメラで撮像するタイヤ径は様々であり、1台のカメラでは撮像できない場合には、複数台のカメラでタイヤサイドウォール部を撮像する。これらの画像を
図8に示す直線化処理S5、又は直線化処理2により、複数のタイヤサイドウォール部の画像を、複数の直線状のタイヤサイドウォール画像とし(S1)、複数の直線状のタイヤサイドウォール画像のそれぞれについて減色・ノイズ処理を行い(S2)、それぞれについて上下方向による色分布で帯状に領域を分割する(S3)。
【0067】
各帯状に分割されたそれぞれの帯状画像について、各色分布の領域毎に特徴点を抽出し(S4)、特徴点をそれぞれの帯状画像にマッピングする(S5)。
次に、特徴点がマッピングされた複数枚の帯状画像を、特徴点により重ね合わせ、合成画像として出力する(S6,S7)。
【0068】
かかる帯状画像について、色分布により上下方向に領域分割し、領域分割された帯状画像を色分布により左右方向に領域分割し、上下方向、及び左右方向に分割された領域毎に、光学文字認識により、領域に含まれる情報を英数字を示すテキストデータとして生成することで、タイヤ径の大小に関わらず、タイヤサイドウォール部に形成されている情報を英数字を示すテキストデータに変換することができる。
【図面の簡単な説明】
【0069】
【
図1】本発明の一実施例であるタイヤ側面(タイヤサイドウォール)部に含まれる情報の光学文字認識装置1の構成を示す斜視図である。こ
【
図2】タイヤ及びタイヤサイドウォールに形成されてい情報の模式図である。
【
図3】本発明の一実施例であるタイヤサイドウォール部に形成されている情報の光学文字認識装置1のブロック構成図である。
【
図4】本発明の一実施例である直線変換座標計算を説明する図である。
【
図5】円を構成する座標を直線の座標に変換する座標変換式と、直線に変換された各画素の座標をX軸(角度:θ)、Y軸(半径:r)としてプロットした図である。
【
図6】タイヤサイドウォール部の画像から検出した各円を構成するを座標(Xn,Yn)を、X軸をθn、Y軸をrnとする座標(θn,rn)に変換したタイヤサイドウォール部の直線変換図である。
【
図8】領域分割部224により第1の帯状画像が領域分割される過程を示した図である。
【
図9】本発明の一実施例であるタイヤサイドウォール部に形成されている情報の光学文字認識(OCR)装置が実行する処理の流れを示すフローチャートである。
【
図10】複数台のカメラでタイヤサイドウォール画像を撮像し、撮像した複数の画像を一つのタイヤサイドウォール画像に合成する処理を示すフローチャートである。
【符号の説明】
【0070】
1:光学文字認識装置
10:タイヤ
20:回転テーブル
30:アーム
40:撮像部
41:カメラ
42:光源
60:バーコードリーダ
100:測定管理部
101:パソコン
102:ディスプレイ
120:リセットボタン
130:データ管理部
140:測定部
150:データファイル
160:作業キュー
170:アップロード部
200:画像データ処理部
210:データ受取部
220:画像データ読取部
221:基準円検出部
222:直線変換部
223:減色・帯状画像生成部
224:領域分割部
225:光学文字認識部
230:画像合成部
231:特徴点抽出部
232:特徴点マッピング部
233:画像合成部
240:データベース
250:データストレージ