IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 横浜ゴム株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155391
(43)【公開日】2024-10-31
(54)【発明の名称】タイヤの検査システム及び検査方法
(51)【国際特許分類】
   G01M 17/02 20060101AFI20241024BHJP
   B60C 19/00 20060101ALI20241024BHJP
【FI】
G01M17/02
B60C19/00 H
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023070067
(22)【出願日】2023-04-21
(71)【出願人】
【識別番号】000006714
【氏名又は名称】横浜ゴム株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】多田 拡太郎
【テーマコード(参考)】
3D131
【Fターム(参考)】
3D131BC55
3D131BC57
3D131LA22
(57)【要約】
【課題】タイヤの外観検査時間を短縮するとともに検査を効率化すること。
【解決手段】タイヤ検査システムは、タイヤの表面の幅方向の一部又は全部を全周にわたって表す、一又は複数のタイヤ画像を取得するタイヤ画像取得部200と、前記一又は複数のタイヤ画像に基づき、前記タイヤの表面における周方向及び前記幅方向の一部を示す局所画像を、前記タイヤの表面における前記局所画像の位置情報とともに取得する局所画像取得部120と、機械学習モデルを用いて、前記局所画像が不良箇所を含む不良領域画像であるか否かを判定する不良判定部130と、前記不良領域画像の前記位置情報を表示部に表示させる表示制御部140を含む。
【選択図】図5

【特許請求の範囲】
【請求項1】
タイヤの表面の幅方向の一部又は全部を全周にわたって表す、一又は複数のタイヤ画像を取得するタイヤ画像取得手段と、
前記一又は複数のタイヤ画像に基づき、前記タイヤの表面における周方向及び前記幅方向の一部を示す局所画像を、前記タイヤの表面における前記局所画像の位置情報とともに取得する局所画像取得手段と、
機械学習モデルを用いて、前記局所画像が不良箇所を含む不良領域画像であるか否かを判定する不良判定手段と、
前記不良領域画像の前記位置情報を表示部に表示させる表示制御手段と、
を含むことを特徴とするタイヤ検査システム。
【請求項2】
請求項1に記載の前記タイヤ検査システムにおいて、
前記タイヤ画像取得手段は、前記タイヤをその回転軸周りに回転させながら、前記タイヤの表面を順次撮像し、連続する前記複数のタイヤ画像をそれぞれ前記タイヤの回転角情報とともに取得する、
タイヤ検査システム。
【請求項3】
請求項2に記載の前記タイヤ検査システムにおいて、
前記局所画像取得手段は、
前記タイヤを前記回転軸周りに回転させる際、前記タイヤに設けられた識別部が検出されるタイミングにおける前記タイヤの回転角情報を取得する回転角情報取得手段と、
前記複数のタイヤ画像とともに取得される前記タイヤの回転角情報、及び前記識別部が検出されるタイミングにおける前記タイヤの回転角情報に基づいて、前記複数のタイヤ画像を編集し、前記タイヤにおける前記識別部が設けられた周方向の位置を先頭とするとともに、第1の辺は前記タイヤの周方向に対応し、該第1の辺に直交する第2の辺は前記タイヤの幅方向に対応する全体画像を生成する全体画像生成手段と、
をさらに含み、前記全体画像に基づき、前記局所画像を前記位置情報とともに取得する、
タイヤ検査システム。
【請求項4】
請求項3に記載の前記タイヤ検査システムにおいて、
前記局所画像取得手段は、前記全体画像を前記周方向及び前記幅方向にそれぞれ設定された長さで切り分け、複数の局所画像を生成する分割手段をさらに含み、
前記分割手段は、前記局所画像のそれぞれとともに、該局所画像の前記全体画像における切出位置を前記局所画像の前記位置情報として取得する、
タイヤ検査システム。
【請求項5】
請求項1~4に記載の前記タイヤ検査システムにおいて、
前記表示制御手段は、前記タイヤの表面における前記不良領域画像の位置を識別して示す不良箇所表示画像を前記不良領域画像の前記位置情報として表示させる、
タイヤ検査システム。
【請求項6】
請求項5に記載の前記タイヤ検査システムにおいて、
前記表示制御手段は、前記不良箇所表示画像とともに、拡大した前記不良領域画像を表示させる、
タイヤ検査システム。
【請求項7】
請求項1~4に記載の前記タイヤ検査システムにおいて、
前記表示制御手段は、前記不良領域画像の前記幅方向の位置情報に基づいて、タイヤ断面図上に前記不良箇所を識別して示すタイヤ断面図表示画像を生成し、該タイヤ断面図表示画像を前記不良領域画像の前記位置情報として表示させる、
タイヤ検査システム。
【請求項8】
請求項1~4に記載の前記タイヤ検査システムにおいて、
前記表示制御手段は、前記不良領域画像の前記幅方向の位置情報に基づいて、前記タイヤの所定の位置から前記不良領域画像の位置までの前記幅方向の距離を算出し、該距離を前記不良領域画像の前記位置情報として表示させる、
タイヤ検査システム。
【請求項9】
タイヤの表面の幅方向の一部又は全部を全周にわたって表す、一又は複数のタイヤ画像を取得するステップと、
前記一又は複数のタイヤ画像に基づき、前記タイヤの表面における周方向及び前記幅方向の一部を示す局所画像を、前記タイヤの表面における前記局所画像の位置情報とともに取得するステップと、
機械学習モデルを用いて、前記局所画像が不良箇所を含む不良領域画像であるか否かを判定するステップと、
前記不良領域画像の前記位置情報を表示部に表示させるステップと、
を含むことを特徴とするタイヤ検査方法。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、タイヤの検査システム及び検査方法に関する。
【背景技術】
【0002】
従来、タイヤの外観検査は検査員の手の触感と目視で行っており、検査員のスキルの差や集中力の低下等により検査時間が長くなる可能性がある。
【0003】
特許文献1では、X線カメラによって撮影されたバーコード等の識別部を有するタイヤの画像を用いて不良箇所を検出した後、タイヤを一定の角速度で回転させ、タイヤの識別部が不良箇所の検出位置に到達するまでの時間を計測し、時間と角速度を用いて距離を算出することで、識別部を基準として、タイヤの周方向のどの位置に不良箇所があるかを特定する検査方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2008-134074号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載のタイヤの検査方法は、不良箇所のタイヤの周方向の位置しか特定されておらず、検査対象のタイヤの幅方向の位置を表示するものではないため、タイヤの不良を検査員が確認するのに時間がかかるという課題があった。
【0006】
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、検査時間を短縮するとともに検査を効率化するタイヤの検査方法及びタイヤの検査装置を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明に係るタイヤ検査システムは、タイヤの表面の幅方向の一部又は全部を全周にわたって表す、一又は複数のタイヤ画像を取得するタイヤ画像取得手段と、前記一又は複数のタイヤ画像に基づき、前記タイヤの表面における周方向及び前記幅方向の一部を示す局所画像を、前記タイヤの表面における前記局所画像の位置情報とともに取得する局所画像取得手段と、機械学習モデルを用いて、前記局所画像が不良箇所を含む不良領域画像であるか否かを判定する不良判定手段と、前記不良領域画像の前記位置情報を表示部に表示させる表示制御手段を含む。
【0008】
また、本発明の一態様では、前記タイヤ画像取得手段は、前記タイヤをその回転軸周りに回転させながら、前記タイヤの表面を順次撮像し、連続する前記複数のタイヤ画像をそれぞれ前記タイヤの回転角情報とともに取得する。
【0009】
この態様では、前記局所画像取得手段は、前記タイヤを前記回転軸周りに回転させる際、前記タイヤに設けられた識別部が検出されるタイミングにおける前記タイヤの回転角情報を取得する回転角情報取得手段と、前記複数のタイヤ画像とともに取得される前記タイヤの回転角情報、及び前記識別部が検出されるタイミングにおける前記タイヤの回転角情報に基づいて、前記複数のタイヤ画像を編集し、前記タイヤにおける前記識別部が設けられた周方向の位置を先頭とするとともに、第1の辺は前記タイヤの周方向に対応し、該第1の辺に直交する第2の辺は前記タイヤの幅方向に対応する全体画像を生成する全体画像生成手段と、をさらに含み、前記局所画像取得手段は、前記全体画像に基づき、前記局所画像を前記位置情報とともに取得してもよい。
【0010】
さらに、この態様では、前記局所画像取得手段は、前記全体画像を前記周方向及び前記幅方向にそれぞれ設定された長さで切り分け、複数の局所画像を生成する分割手段をさらに含み、前記分割手段は、前記局所画像のそれぞれとともに、該局所画像の前記全体画像における切出位置を前記局所画像の前記位置情報として取得してもよい。
【0011】
本発明の一態様では、前記表示制御手段は、前記タイヤの表面における前記不良領域画像の位置を識別して示す不良箇所表示画像を前記不良領域画像の前記位置情報として表示させる。
【0012】
この態様では、前記表示制御手段は、前記不良箇所表示画像とともに、拡大した前記不良領域画像を表示させてもよい。
【0013】
本発明の一態様では、前記表示制御手段は、前記不良領域画像の前記幅方向の位置情報に基づいて、タイヤ断面図上に前記不良箇所を識別して示すタイヤ断面図表示画像を生成し、該タイヤ断面図表示画像を前記不良領域画像の前記位置情報として表示させる。
【0014】
本発明の一態様では、前記表示制御手段は、前記不良領域画像の前記幅方向の位置情報に基づいて、前記タイヤの所定の位置から前記不良領域画像の位置までの前記幅方向の距離を算出し、該距離を前記不良領域画像の前記位置情報として表示させる。
【0015】
また、本発明に係るタイヤ検査方法は、タイヤの表面の幅方向の一部又は全部を全周にわたって表す、一又は複数のタイヤ画像を取得するステップと、前記一又は複数のタイヤ画像に基づき、前記タイヤの表面における周方向及び前記幅方向の一部を示す局所画像を、前記タイヤの表面における前記局所画像の位置情報とともに取得するステップと、機械学習モデルを用いて、前記局所画像が不良箇所を含む不良領域画像であるか否かを判定するステップと、前記不良領域画像の前記位置情報を表示部に表示させるステップを含む。
【図面の簡単な説明】
【0016】
図1】本発明の実施形態に係るタイヤ検査システムの全体構成図である。
図2】タイヤの幅方向を示す図である。
図3A】不良箇所表示画像の一例を示す図である。
図3B】不良領域画像の一例を示す図である。
図3C】タイヤ断面図表示画像の一例を示す図である。
図3D】タイヤ側面図表示画像の一例を示す図である。
図4】本発明の実施形態に係る情報処理装置のハードウェア構成図である。
図5】本発明の実施形態に係る情報処理装置の機能ブロック図である。
図6A】タイヤ画像の一例を示す図である。
図6B】識別部の位置を特定したタイヤ画像の一例を示す図である。
図6C】識別部の情報を用いてタイヤ画像の一部を並び替えた一例を示す図である。
図7】全体画像の一例を示す図である。
図8】局所画像の一例を示す図である。
図9】情報処理装置の動作を示すフロー図である。
図10】複数の撮像部と識別部検出部の位置関係の一例を示す図である。
図11A】複数のタイヤ画像の一例を示す図である。
図11B】識別部の位置を特定した、複数のタイヤ画像の一例を示す図である。
図11C】識別部の情報を用いて、複数のタイヤ画像の一部の領域を並び替えた一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【0018】
図1は、本実施形態に係るタイヤ検査システム1の全体構成の一例を示す図である。
【0019】
タイヤ検査システム1は、タイヤの外観を検査するシステムである。タイヤ検査システム1は、撮像部200、識別部検出部202、回転装置204、回転制御装置206、表示部208、及び情報処理装置100を含む。
【0020】
識別部12を有するタイヤ10は、タイヤ検査システム1の検査対象である。機械学習モデルを用いて、タイヤ10の表面に不良があるか否かを判定し、その後検査員が判定結果を確認することで、タイヤ10の外観検査を行う。本実施形態においては、識別部12は、タイヤ10のサイドウォール上の所定の位置に設けられている。また、識別部12は、例えば、タイヤ10の識別情報を示すラベルコード(例えばQRコード(登録商標)やバーコード)を用いることができる。
【0021】
本明細書中では、タイヤ10上の位置を周方向及び幅方向で示す。周方向とは、タイヤの回転軸線を中心としてタイヤ10を回転させたときのタイヤ10の回転する方向をいう。
【0022】
幅方向とは、タイヤ10の回転軸と沿った方向であり、具体的には図2のWに示す。図2は、タイヤ10をタイヤ10の回転軸を含む平面でタイヤを切断したときの断面図である。タイヤ10の内表面を検査するときの幅方向は、断面図においてタイヤ10の湾曲した内表面に沿った方向である。なお、タイヤ10の外表面を検査するときの幅方向は、断面図において、タイヤ10の湾曲した外表面に沿った方向である。
【0023】
撮像部200は、タイヤ10の表面を撮像する装置であり、情報処理装置100に接続されている。撮像部200は、図1に示される例では、タイヤ10の内側の表面を撮像する装置であり、例えば、図示されない、光源、及びラインセンサを含む。なお、図1において、撮像部200はタイヤの内側に位置されるように示されており、撮像部200の撮像方向のタイヤ内側表面の一部を、タイヤ画像112(図6参照)として撮像することができる。
【0024】
識別部検出部202は、タイヤ10に設けられた識別部12を検出するセンサである。識別部検出部202は、回転制御装置206に識別部12を検出したタイミングを通知する。図1に示すように、回転軸から見た撮像部200の撮像位置と、回転軸から見た識別部検出部202の検出位置は、タイヤ10の回転方向にΔ[deg]ずれて配置されている。
【0025】
回転装置204は、タイヤ10を、タイヤ10の回転軸線の周りに回転させる装置である。回転装置204は、例えば、タイヤ10の内側にタイヤ周方向に沿って複数の位置に配置された複数のローラを駆動させて、タイヤ10を回転させる。
【0026】
回転制御装置206は、回転装置204の動作を制御する装置である。回転制御装置206は、撮像部200の撮像開始時を0度としたとき、撮像位置からどれだけ回転したかを示す回転角情報を回転装置204から取得し、情報処理装置100に送信する。また、回転制御装置206は、識別部検出部202が識別部12を検出したタイミングの回転角情報も情報処理装置100に送信する。
【0027】
情報処理装置100は、撮像部200が撮像したタイヤ画像112に基づき、タイヤ10のタイヤ表面の画像について画像処理を行い、機械学習モデルを用いて不良があるか否かを判定する。
【0028】
表示部208は、検査員が判定結果を確認するためのディスプレイである。情報処理装置100と接続されていて、タイヤ10のタイヤ表面の不良の位置情報を表示する。
【0029】
ここで、上記構成を含むタイヤ検査システム1によるタイヤ10の外観検査の動作について説明する。
【0030】
情報処理装置100の制御に応じて、回転制御装置206は、タイヤ10をセットした回転装置204の動作を制御する。その際、回転制御装置206は、回転装置204の現在の回転角情報を監視し、その回転角情報を情報処理装置100に送信する。また、情報処理装置100は、撮像部200の撮像タイミングを制御する。回転装置204は、タイヤ10をその回転軸周りに回転させ、撮像部200はタイヤ10の表面を順次撮像する。その際、情報処理装置100は、撮像タイミングのタイヤ10の回転角情報を回転制御装置206から取得し、撮像したタイヤ画像112と関連付けて保存する。
【0031】
回転装置204は、回転軸にパルスジェネレータを取り付けることで、撮像部200が撮像するタイミングごとに正確な回転角情報を取得することができる。そのため回転装置204がタイヤ10を回転させる速度が一定でなくとも、タイヤ画像112を取得することができる。また、回転装置204は、タイヤ10の回転速度を一定にしてもよい。その場合は、撮像部200はタイヤ10の回転速度が一定になってからタイヤ10の表面を順次撮像してもよい。本実施形態では、タイヤ10の回転速度が一定の場合について説明する。
【0032】
また、識別部検出部202は、タイヤ10を回転させている際に識別部12を検出したタイミングで、識別部12を検出したことを回転制御装置206に通知する。
【0033】
撮像部200は、撮像したタイヤ画像112を情報処理装置100に送信する。また、回転制御装置206は、識別部12を検出したタイミングの回転角情報を情報処理装置100に送信する。情報処理装置100は、画像処理を行い、機械学習モデルを用いてタイヤ10の表面に不良があるか否かを判定する。判定後、情報処理装置100は、表示部208に不良箇所の位置情報を表示する。
【0034】
図3A~3Dは、情報処理装置100が表示部208に表示する、タイヤ10上に検出された不良箇所の位置情報を表示する画像の一例である。
【0035】
図3Aに示す不良箇所表示画像142には、撮像部200が撮像したタイヤ画像112より生成した全体画像124a(図7を参照)と、タイヤ表面上の不良を含む不良領域画像144(図3Bを参照)と、が含まれている。不良箇所表示画像142では、全体画像124aとタイヤ10がどのように対応しているかを示す、タイヤ周方向情報142a及びタイヤ幅方向情報142bが表示される。図3Aでは、タイヤ周方向情報142aとして「周方向[deg]」の文字と角度に対応した目盛を表示している。また、タイヤ幅方向情報142bとして、タイヤ10の各部の名称を表示している。ここで、「セリアル側」とは、タイヤ10のサイドウォールに製造番号が付与されている側であり、車に取り付けた際、車両の外側を向く側を意味する。「トレッド」はタイヤのトレッド部を、「反セリアル側」はセリアル側の反対側を意味する。
【0036】
図3Bは不良領域画像144の拡大図である。不良領域画像144は、情報処理装置100が不良箇所を含むと判定した画像である。不良を含まない部分と識別するために、画像の外縁に色を付けてもよい。
【0037】
図3Cは、不良領域画像144の位置を、タイヤの回転軸を含む平面でタイヤを切断したときの断面図上で表示したタイヤ断面図表示画像146である。断面図とタイヤ10の対応を、方向基準情報146a~146cで表示する。そして、タイヤ10と対応する断面図上に、不良領域画像144の位置としてマーカ146dを表示する。
【0038】
図3Dは、不良領域画像144の位置を、タイヤの側面図上で表示したタイヤ側面図表示画像148である。タイヤ10と対応する円環に、識別部12の位置を基準として、90度ごとに角度基準情報148a~148dを表示する。タイヤ10と対応する円環上に、不良領域画像144の位置としてマーカ148eを表示する。
【0039】
表示部208に表示する画像は、図3A~3Dに示す画像のうち一種類のみでもよいし、同時に二以上の画像を組み合わせて表示してもよい。検査員がどの画像を表示するか選択できるようにしてもよい。
【0040】
このようにして、本実施形態によれば、検査員はタイヤ10の不良箇所を周方向のみならず、幅方向の位置についても把握することができるため、検査時間を短縮するとともに検査を効率化することができる。
【0041】
以下に、上記のタイヤ検査システム1を実現するための情報処理装置100のハードウェア構成について説明する。
【0042】
図4は本発明の一実施形態に係る情報処理装置100のハードウェア構成の一例を示す図である。本実施形態に係る情報処理装置100は、パーソナルコンピュータなどのコンピュータである。例えば図4に示すように、プロセッサ100a、記憶部100b、及び通信部100cを含んでいる。
【0043】
プロセッサ100aは、例えば情報処理装置100にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。プロセッサ100aは、記憶部100bに格納されているプログラムに従って動作する。またプロセッサ100aは通信部100cを制御する。
【0044】
記憶部100bは、RAMやフラッシュメモリ等のメモリ素子やハードディスクドライブによって構成されている。記憶部100bは、上記プログラムを格納する。また、記憶部100bは、各構成から入力される情報や判定結果を格納する。
【0045】
通信部100cは、他の装置と通信する機能を実現するものであり、例えば有線LANの集積回路などにより構成されている。通信部100cは、プロセッサ100aの制御に基づいて、他の装置との間で情報を送受信する。また通信部100cは、受信された情報をプロセッサ100aや記憶部100bに入力する。
【0046】
以下、情報処理装置100の不良領域特定処理についてさらに説明する。
【0047】
図5は、本実施形態に係る情報処理装置100で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置100で、図5に示す機能のすべてが実装される必要はなく、また、図5に示す機能以外の機能が実装されていても構わない。
【0048】
図5に示すように、情報処理装置100には、機能的には例えば、タイヤ画像取得部110、局所画像取得部120、不良判定部130、及び表示制御部140が含まれる。さらに、局所画像取得部120には、回転角情報取得部122、全体画像生成部124、及び分割部126が含まれる。
【0049】
タイヤ画像取得部110及び回転角情報取得部122は、プロセッサ100a、記憶部100b、及び通信部100cを主として実装される。全体画像生成部124、分割部126、及び不良判定部130は、プロセッサ100a、及び記憶部100bを主として実装される。表示制御部140は、プロセッサ100a及び通信部100cを主として実装される。
【0050】
以上の機能は、コンピュータである情報処理装置100にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ100aで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して情報処理装置100に供給されてもよい。
【0051】
タイヤ画像取得部110は、撮像部200からタイヤの表面の幅方向の一部又は全部を全周にわたって表すタイヤ画像112を取得するとともに、回転制御装置206から複数のタイヤ画像112それぞれの回転角情報を取得し、局所画像取得部120に送信する。
【0052】
また、タイヤ画像取得部110は、撮像部200の撮像時の設定、及び回転制御装置206の設定や動作を制御する。タイヤ画像取得部110が撮像部200及び回転制御装置206の制御を行うため、撮像部200の撮像した複数のタイヤ画像112のそれぞれに対応した回転角情報を取得することができる。タイヤ画像取得部110は、タイヤ10の回転速度が一定になってから、撮像部200が撮像を開始するように制御する。
【0053】
タイヤ画像112は、例えば図6Aに示すように、短辺が周方向に対応し、長辺が幅方向に対応する画像であってもよい。タイヤ画像112の短辺は、回転角情報に対応しており、タイヤ画像112の短辺全体を360[deg]としたとき、回転角の情報でタイヤ画像112上の位置を特定することができる。
【0054】
本実施形態では、図6Aに示すように、1枚のタイヤ画像112が取得されたこととする。また、図6A中のタイヤ画像112内の×印は、不良箇所を示している。図6B図6C図7、及び図8中における×印はすべて同じ不良箇所を表している。
【0055】
局所画像取得部120は、タイヤ画像取得部110が取得したタイヤ画像112に基づいて、タイヤ表面における周方向及び幅方向の一部を示す局所画像(図8のP(n,m))とともに、タイヤ表面における複数の局所画像Pの位置情報を取得する。
【0056】
局所画像取得部120に含まれる回転角情報取得部122は、識別部検出部202によりタイヤ10に設けられた識別部12が検出されるタイミングにおけるタイヤ10の回転角情報を、回転制御装置206から取得する。ここで、識別部12が幅や長さを持つ場合は、識別部12が検出されるタイミングは、識別部12の先頭を検出したタイミングとしてよい。識別部12の中央を検出したタイミングや、識別部12の全体を検出したタイミングとしてもよい。本実施形態では、識別部12の先頭を検出したタイミングを識別部12が検出されるタイミングとする。
【0057】
局所画像取得部120に含まれる全体画像生成部124は、タイヤ画像取得部110からタイヤ画像112及びタイヤ画像112に対応する回転角情報を受信するとともに、回転角情報取得部122から識別部12が検出されるタイミングにおけるタイヤ10の回転角情報を受信し、全体画像124aを生成する。
【0058】
全体画像生成部124は、図6Cのように、タイヤ画像112のうち、識別部12に対応する領域を先頭に含むタイヤ画像第1領域112bを先頭にして、タイヤ画像112のタイヤ画像第1領域112b以外の領域であるタイヤ画像第2領域112aを編集してつなぎ合わせることにより、全体画像124aを生成する。図7に示すように、全体画像124aの短辺はタイヤ10の周方向に対応し、短辺に直交する長辺はタイヤ10の幅方向に対応する。
【0059】
タイヤ画像112内の識別部12に対応する周方向上の位置の特定は以下のように行われる。
【0060】
識別部検出部202は、識別部12を検出したタイミングで回転制御装置206に通知を行い、回転制御装置206は通知を受けたタイミングの回転角情報を回転角情報取得部122に送信する。本実施形態では、図1に示すように、タイヤ10の回転軸から見た撮像部200の撮像位置と識別部検出部202の検出位置の角度差がΔ[deg]であるため、回転制御装置206が識別部検出部202から通知を受けたタイミングの回転角にΔ[deg]を足した値が、識別部12に対応する領域が撮像されるタイミングにおけるタイヤ10の回転角情報となる。
【0061】
本実施形態において、回転軸から見た撮像部200の撮像位置と識別部検出部202の検出位置の角度差がΔ[deg]であったとする。そして、回転制御装置206から取得した、識別部12を検出したタイミングにおけるタイヤ10の回転角情報が、x[deg]であったとする。
【0062】
すると、回転制御装置206が識別部検出部202から通知を受けたタイミングの回転角からΔ[deg]を足した値であるx+Δ[deg]が、識別部12に対応する位置の回転角情報であり、周方向上の位置であることが特定できる。したがって、本実施形態では、図6Bのように、タイヤ画像112の中の識別部12に対応する周方向上の位置が特定される。
【0063】
全体画像生成部124は、上述の方法で特定した識別部12の周方向上の位置により、全体画像生成部124は、図6Bに示すように、タイヤ画像第1領域112b及びタイヤ画像第2領域112aを特定する。本実施形態におけるタイヤ画像第1領域112bは、周方向に対応する回転角情報がx+Δ[deg]から360[deg]の領域である。また、タイヤ画像第2領域112aは、周方向に対応する回転角情報が0[deg]からx+Δ[deg]の領域である。ここで、本実施形態では、識別部12はタイヤ10の外表面に刻印されているため、タイヤ画像112として撮像されることはないが、説明を容易にするため、図6B及び図6Cに識別部12を想像線で表している。
【0064】
図6Cは、タイヤ画像第1領域112b及びタイヤ画像第2領域112aを識別部12に対応する領域が先頭になるように並び替えた際の一例である。本実施形態では、全体画像生成部124は、図6Cのようにタイヤ画像第1領域112b及びタイヤ画像第2領域112aを並び替えて、重複がないように編集し、繋ぎ合わせて、タイヤ画像112xを生成する。画像の複数の領域を重複せずに繋ぎ合わせるのは、既知の従来技術を使用してよい。これにより、識別部12が設けられた周方向の位置を先頭とすることができる。タイヤ画像112xは、識別部12に対応する領域を0[deg]とした全体画像124aである。
【0065】
このようにすることで、図7に示すように、短辺はタイヤ10の周方向に対応し、短辺に直交する長辺はタイヤ10の幅方向に対応する全体画像124aを生成することができる。
【0066】
タイヤ画像112における識別部12の周方向上の位置は、タイヤ10の回転速度が一定である場合には、角度ではなく時間でも特定することができる。例えば本実施形態において、撮像部200は、t1[秒]で隙間なくタイヤ10の一周分を撮像したものとする。そして、識別部検出部202が回転制御装置206に識別部12を検出したタイミングが、撮像開始からt2[秒]であったとする。その時の回転角の情報は、360×t/t1[deg]となる。これにより、タイヤ10の回転軸から見た撮像部200の撮像位置と識別部検出部202の検出位置の角度差がΔ[deg]であるため、Δ+360×t/t[deg]の位置が、タイヤ画像112の識別部12の周方向上の位置を特定することができる。
【0067】
全体画像生成部124は、生成した全体画像124aを分割部126に送信する。
【0068】
局所画像取得部120に含まれる分割部126は、全体画像生成部124から全体画像124aを受信する。分割部126は、周方向及び幅方向にそれぞれ設定された長さで全体画像124aを切り分け、図8に示すように、複数の局所画像P(n,m)を生成し、その局所画像P(n,m)の位置情報を取得する。
【0069】
局所画像P(n,m)は、全体画像124aを切り分けた際、幅方向に対応する辺側から数えてn番目であるという周方向の位置情報、及び周方向に対応する辺側から数えてm番目であるという幅方向の位置情報を有する。全体画像における切出位置を局所画像P(n,m)の位置情報とする。局所画像P(n,m)の有する周方向及び幅方向の位置情報を局所画像位置情報と呼ぶ。
【0070】
局所画像P(n,m)の「n」は、全体画像124aを周方向に切り分けた個数で決まる任意の自然数である。また、局所画像P(n,m)の「m」は、全体画像124aを幅方向に切り分けた個数で決まる任意の自然数である。例えば、図8では、全体画像124aを周方向に6個、幅方向に10個に切り分けているため、「n≦6」「m≦10」である固有の局所画像位置情報を持つ局所画像P(n,m)が60個あることが示されている。例えば図8に示すように、一番右の列の上から二番目の画像は、幅方向に対応する辺側から数えて2番目であり、周方向に対応する辺側から数えて10番目であるため、局所画像P(2,10)と表すことができる。
【0071】
このようにして、全体画像124aを切り分けることで、全体画像124aにおける位置情報を有する局所画像P(n,m)を取得することができる。
【0072】
分割部126は、複数の局所画像P(n,m)を不良判定部130に送信する。
【0073】
不良判定部130は、分割部126から複数の局所画像P(n,m)を受信する。そして、不良判定部130は、局所画像P(n,m)のそれぞれに対して、機械学習モデルを用いて、不良箇所を含む不良領域画像144であるか否かを判定する。
【0074】
不良判定部130で使用する機械学習モデルは、例えば、ニューラルネットワークなどの機械学習モデルである。当該学習モデルは、不良を含むタイヤ表面の画像と不良を含まないタイヤ表面の画像を訓練データとして事前に学習させたものを使用する。本実施形態の機械学習モデルは、タイヤ10の表面の一部を表す局所画像P(n,m)を入力すると、不良を含むか否かを出力する。
【0075】
不良判定部130は、局所画像P(n,m)のそれぞれについて、機械学習モデルをも一いて、不良を含むか否か判定する。図8の例では、不良判定部130は局所画像P(1,1)から順番に局所画像P(6,10)までを判定する。そして、局所画像P(5,2)が不良を含むと判定し、その局所画像位置情報を不良領域画像144の位置情報として特定する。
【0076】
不良判定部130は、不良領域画像144の局所画像位置情報を表示制御部140に送信する。
【0077】
表示制御部140は、不良判定部130から不良領域画像144の局所画像位置情報を受信する。そして、表示制御部140は、表示部208に不良領域画像144の局所画像位置情報を表示させる。
【0078】
表示制御部140は、外縁を着色した不良領域画像144及び、前記複数の局所画像P(n,m)のうち不良領域画像144でないと判定された1以上の局所画像P(n,m)をそれぞれの位置情報に従って連結し、タイヤ10の表面における不良領域画像144の位置を識別して示す不良箇所表示画像142を生成する。この際、表示制御部140は、全体画像124aに不良領域画像144を重畳して不良箇所表示画像142を生成してもよい。表示制御部140は、生成した不良箇所表示画像142を表示部208に表示させる。
【0079】
このとき、表示制御部140は、不良箇所表示画像142とともに、拡大した不良領域画像144を表示部208に表示させてもよい。拡大した不良領域画像144を表示することにより、検査員がより迅速に不良箇所を確認することができる。
【0080】
また、表示制御部140は、不良領域画像144の幅方向の位置情報に基づいて、タイヤ断面図上に不良箇所を識別して示すタイヤ断面図表示画像146を生成してもよい。全体画像124aの長辺はタイヤ10の幅方向に対応しており、不良領域画像144の幅方向の位置情報から、タイヤ断面図上の位置を算出することができる。表示制御部140は、生成したタイヤ断面図表示画像146を表示部208に表示させてもよい。
【0081】
また、表示制御部140は不良領域画像144の周方向の位置情報に基づいて、タイヤ側面図上に不良箇所を識別して示すタイヤ側面図表示画像148を生成してもよい。全体画像124aの第1の辺はタイヤ10の周方向に対応しており、不良領域画像144の周方向の位置情報から、タイヤ断面図上の位置を算出することができる。表示制御部140は、生成したタイヤ断面図表示画像146を表示部208に表示させてもよい。
【0082】
また、表示制御部140は、タイヤ断面図の表示画像とともに、タイヤ10の所定の位置から不良領域画像144の位置までの幅方向の距離を表示させてもよい。全体画像124aの第2の辺はタイヤ10の幅方向に対応しているため、局所画像P(n,m)の画素数を距離に、タイヤ10の所定の位置からの距離に換算することができる。
【0083】
表示制御部140は、不良箇所表示画像142、不良領域画像144、タイヤ断面図表示画像146、及びタイヤ側面図表示画像148のうちから、2以上の組み合わせを表示部208に表示させてもよい。
【0084】
ここで、本実施形態に係る情報処理装置100の動作の一例を、図9に例示するフロー図を参照しながら説明する。ここでは、撮像部200及び識別部検出部202によりタイヤ画像112及びタイヤの回転角情報は、取得済みであることとする。
【0085】
まず、タイヤ画像取得部110が、撮像部200からタイヤ画像112を取得するとともに、回転制御装置206からタイヤ画像112それぞれのタイヤの回転角情報を取得し、全体画像生成部124に送信する(S101)。
【0086】
そして、全体画像生成部124は、回転制御装置206から識別部検出部202が識別部12を検出したタイミングの回転角情報を受信する。全体画像生成部124は、S101で受信した複数のタイヤ画像112、及びタイヤ画像112のタイヤの回転角情報、並びに識別部12を検出したタイミングの回転角情報に基づいて、全体画像124aを生成する(S102)。
【0087】
そして、分割部126は、S102で生成された全体画像124aを周方向及び幅方向にそれぞれ設定された長さで切り分け、複数の局所画像P(n,m)を生成する(S103)。
【0088】
さらに、分割部126は、S103で生成した複数の局所画像P(n,m)のそれぞれについて、全体画像124aの中での位置情報を取得する(S104)。
【0089】
不良判定部130は、S103で取得された局所画像P(n,m)のそれぞれについて、機械学習モデルを用いて、不良領域画像144か否かを判定する(S105)。
【0090】
そして、不良判定部130は、不良領域画像144の局所画像位置情報から、全体画像124aにおける不良領域画像144の位置を特定する(S106)。
【0091】
次に、表示制御部140は、S106で特定された不良領域画像144の位置情報を用いて、拡大した不良領域画像144、不良箇所表示画像142、タイヤ断面図表示画像146、及びタイヤ側面図表示画像148を生成し、表示部208に表示し、本処理例に示す処理は終了される(S107)。
【0092】
なお、本発明は上述の実施形態に限定されるものではない。
【0093】
例えば、タイヤ10を複数の撮像部で撮像してもよい。撮像部が複数ある実施形態について以下に説明する。
【0094】
図10は撮像部200a、200b、及び200cと識別部検出部202の位置関係の一例を示す図である。タイヤ10の回転軸から見た撮像部200aの撮像位置と識別部検出部202の検出位置の角度差はΔ[deg]である。また、タイヤ10の回転軸から見た撮像部200aと撮像部200bの撮像位置の角度差は、α[deg]である。さらに、タイヤ10の回転軸から見た撮像部200bと撮像部200cの撮像位置の角度の差はβ[deg]である。撮像部200a、200b、及び200cは、タイヤ10を同じタイミングで撮像する。
【0095】
撮像部200aはタイヤ10のセリアル側を撮像するように設置され、セリアル側画像114を撮像する。撮像部200bはタイヤ10のトレッド部を撮像するように設置され、トレッド部画像116を撮像する。撮像部200cはタイヤ10のセリアル側の反対側を撮像するように設置され、反セリアル側画像118を撮像する。セリアル側画像114、トレッド部画像116、及び反セリアル側画像118はそれぞれ、短辺がタイヤ10の幅方向の一部に対応し、短辺に直交する長辺がタイヤ10の周方向に対応している。撮像部200a、200b、及び200cが撮像する領域が幅方向に重複してもよい。
【0096】
図11Aは、セリアル側画像114、トレッド部画像116、及び反セリアル側画像118の一例を示す図である。図11Aのセリアル側画像114内にある×印は不良箇所を示している。図11B及び図11C中における×印はすべて同じ不良箇所を表している。セリアル側画像114、トレッド部画像116、及び反セリアル側画像118は、1つのタイヤ10について撮像した画像であるため、複数のタイヤ画像であるといえる。
【0097】
ここで、識別部12が検出されるタイミングにおけるタイヤ10の回転角情報がx[deg]であったとする。このとき、撮像部200aの撮像したセリアル側画像114の識別部12に対応する周方向上の位置は、撮像部200aの撮像位置と識別部検出部202の検出位置の角度差がΔ[deg]であるため、x+Δ[deg]の位置であることが特定できる。また、セリアル側画像114における識別部12の周方向上の位置が特定されることにより、全体画像生成部124は、セリアル側画像第1領域114b及びセリアル側画像第2領域114aを特定することができる。
【0098】
次に、撮像部200bの撮像したトレッド部画像116の識別部12に対応する周方向上の位置は、撮像部200aと撮像部200bの位置関係から、x+Δ+α[deg]の位置であることが特定できる。また、トレッド部画像116における識別部12の周方向上の位置が特定されることにより、全体画像生成部124は、トレッド部画像第1領域116b及びトレッド部画像第2領域116aを特定することができる。
【0099】
また、撮像部200cの撮像した反セリアル側画像118の識別部12に対応する周方向上の位置は、撮像部200bと撮像部200cの位置関係から、x+Δ+α+β[deg]の位置であることが特定できる。また、反セリアル側画像118における識別部12の周方向上の位置が特定されることにより、全体画像生成部124は、反セリアル側画像第1領域118b及び反セリアル側画像第2領域118aを特定することができる。
【0100】
図11Bは、セリアル側画像114、トレッド部画像116、及び反セリアル側画像118の一例を示す図である。識別部12はタイヤ10の外表面に刻印されているため、内表面を撮像する本実施形態では撮像されることはないが、説明を容易にするために想像線で示している。
【0101】
全体画像生成部124は、図11Cのように、セリアル側画像114のうち、セリアル側画像第1領域114bを先頭にして、セリアル側画像第2領域114aを編集してつなぎ合わせることにより、セリアル側画像114xを生成する。また、全体画像生成部124は、図11Cのように、トレッド部画像116のうち、トレッド部画像第1領域116bを先頭にして、トレッド部画像第2領域116aを編集してつなぎ合わせることにより、トレッド部画像116xを生成する。また、全体画像生成部124は、図11Cのように、反セリアル側画像118のうち、反セリアル側画像第1領域118bを先頭にして、反セリアル側画像第2領域118aを編集してつなぎ合わせることにより、反セリアル側画像118xを生成する。
【0102】
また、全体画像生成部124は、識別部12を先頭にし、セリアル側画像114x、トレッド部画像116x、及び反セリアル側画像118xを編集してつなぎ合わせることで、全体画像124aを生成する。このようにすることで、撮像位置の異なる複数の撮像部による複数のタイヤ画像からでも、短辺がタイヤ10の周方向に対応する全体画像124aを生成することができる。
【0103】
また、例えば、本発明をタイヤ10の外表面の検査に使用してもよい。
【0104】
例えば、撮像部200が撮像するタイヤ画像112を、全体画像124aを生成せずに、分割部126により直接切り分けて、複数の局所画像P(n,m)を生成してもよい。
【0105】
また、上記の明細書中の具体的な数値及び図面中の具体的な数値は例示であり、これらの文字列や数値には限定されない。
【符号の説明】
【0106】
1 タイヤ検査システム、10 タイヤ、12 識別部、100 情報処理装置、100a プロセッサ、100b 記憶部、100c 通信部、110 タイヤ画像取得部、112 タイヤ画像、114・114x セリアル側画像、116・116x トレッド部画像、118・118x 反セリアル側画像、120 局所画像取得部、122 回転角情報取得部、124 全体画像生成部、124a 全体画像、126 分割部、130 不良判定部、140 表示制御部、142 不良箇所表示画像、142a タイヤ周方向情報、142b タイヤ幅方向情報、144 不良領域画像、146 タイヤ断面図表示画像、146a~146c 方向基準情報、146d マーカ、148 タイヤ側面図表示画像、148a~148d 角度基準情報、148e マーカ、200 撮像部、200a~200c 撮像部、202 識別部検出部、204 回転装置、206 回転制御装置、208 表示部、P(n,m) 局所画像。

図1
図2
図3A
図3B
図3C
図3D
図4
図5
図6A
図6B
図6C
図7
図8
図9
図10
図11A
図11B
図11C