(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】タイヤサイドウォールの画像化方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240806BHJP
G06T 5/40 20060101ALI20240806BHJP
【ＦＩ】
G06T7/00 350C
G06T5/40
【請求項の数】
22
(21)【出願番号】P 2021568133
(86)(22)【出願日】2020-04-23
(65)【公表番号】
(43)【公表日】2022-07-27
(86)【国際出願番号】 EP2020061324
(87)【国際公開番号】W WO2020229132
(87)【国際公開日】2020-11-19
【審査請求日】2023-01-27
(31)【優先権主張番号】1906788.3
(32)【優先日】2019-05-14
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】514042901
【氏名又は名称】ホイールライト・リミテッド
【氏名又は名称原語表記】ＷＨＥＥＬＲＩＧＨＴ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】Ｂｅｇｂｒｏｋｅ Ｃｅｎｔｒｅ ｆｏｒ Ｉｎｎｏｖａｔｉｏｎ ＆ Ｅｎｔｅｒｐｒｉｓｅ，Ｂｅｇｂｒｏｋｅ Ｈｉｌｌ，Ｗｏｏｄｓｔｏｃｋ Ｒｏａｄ，Ｂｅｇｂｒｏｋｅ，Ｏｘｆｏｒｄｓｈｉｒｅ ＯＸ５ １ＰＦ（ＧＢ）
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【弁理士】
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】サイド、ワジャハト、アリ、シャー、カズミ
(72)【発明者】
【氏名】アレクサンダー、ポール、コッド
【審査官】伊知地 和之
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２２４８６３（ＵＳ，Ａ１）
【文献】特開２０１９－０６７４０６（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９６８５０５９（ＣＮ，Ａ）
【文献】特開２０１０－２１８０６１（ＪＰ，Ａ）
【文献】岡谷貴之，「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）」〔第４回〕画像認識のための深層学習，人工知能学会誌 第２８巻 第６号，日本，（一社）人工知能学会，2013年11月01日，第28巻 第6号，pp.962～974
【文献】GUNSEO KOO et al.，“MCBP neural network formation for efficient recognition of tire sorting code by image processing”，Proceedings of APCCAS'96 - Asia Pacific Conference on Circuits and Systems，1996年11月18日，pp.524-527
【文献】Zhan-hua Huang et al.，“Fast intellective recognition of autocar tire character based on canny operator”， Proc. of SPIE - Electronic Imaging and Multimedia Technology V，米国，SPIE，2007年11月28日，Vol. 6833，pp.683310-1～683310-7
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／９４
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／００ － ３０／１２
Ｇ０６Ｖ ３０／１４ － ３０／１６８
Ｇ０６Ｖ ３０／１８ － ３０／２２２
Ｇ０６Ｖ ３０／２２４
Ｇ０６Ｖ ３０／２２６ － ３０／３２
Ｇ０６Ｖ ３０／４０ － ３０／４１６
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ３０／４２ － ３０／４２４
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
コンピュータでタイヤのサイドウォールの１つ以上の、エンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類する方法であって、前記方法は、（ｉ）前記タイヤのサイドウォールのデジタル画像データを用意すること、
（ｉｉ）前記タイヤのサイドウォールの第１部分に対応する、前記デジタル画像データの第１部分から第１画像チャネルを生成することであって、前記第１画像チャネルを生成することは、前記デジタル画像データの第１部分にヒストグラム均等化を実行して前記第１画像チャネルを生成することを含み、
（ｉｉｉ）前記第１画像チャネルを利用して第１特徴マップを生成すること、及び
（ｉｖ）前記エンボス及び/又は刻印されたマーキングを１つ以上の第１クラスに分類するために、第１分類器を前記第１特徴マップに適用すること
を含み、
前記方法は、前記デジタル画像データの第１部分から第２及び第３画像チャネルを生成することを含み、
前記第２及び第３画像チャネルを生成することは、
前記第２画像チャネルを生成するために、前記デジタル画像データの第１部分に適応ヒストグラム均等化を実行すること、及び
前記デジタル画像データの第１部分を前記第３画像チャネルとして割り当てることを含み、
前記第１特徴マップは前記第１、第２及び第３画像チャネルを利用して生成される、方法。
【請求項2】
第４画像チャネルを生成するために、前記デジタル画像データの第１部分にガウス演算の差分を実行すること、前記第４画像チャネルを利用して第２特徴マップを生成すること、及び
前記エンボス及び／又は刻印されたマーキングを１つ以上の第２のクラスに分類するために、第２分類器を前記第２特徴マップに適用することを含む、請求項１に記載の方法。
【請求項3】
前記第１分類器は第１ＦａｓｔｅｒＲ-ＣＮＮネットワークの分類器であり、前記第２分類器は第２ＦａｓｔｅｒＲ－ＣＮＮネットワークの分類器であって、前記第１ＦａｓｔｅｒＲ-ＣＮＮネットワークは前記第２ＦａｓｔｅｒＲ－ＣＮＮネットワークとは異なることを特徴とする、請求項２に記載の方法。
【請求項4】
前記第１ＦａｓｔｅｒＲ－ＣＮＮネットワークは、第１関心領域ジェネレーターを含み、前記方法は、前記第１関心領域ジェネレーターで、第１特徴マップに複数の第１関心領域を生成し、前記第１分類器を、生成された前記複数の第１関心領域に適用する、請求項３に記載の方法。
【請求項5】
前記第２ＦａｓｔｅｒＲ－ＣＮＮネットワークは、第２関心領域ジェネレーターを含み、前記方法は、前記第２関心領域ジェネレーターで、第２特徴マップに複数の第２関心領域を生成し、前記第２分類器を、生成された前記複数の第２関心領域に適用する、請求項４に記載の方法。
【請求項6】
前記第１及び第２ＦａｓｔｅｒＲ－ＣＮＮネットワークの各々は、それぞれのバウンディングボックスリグレッサを含み、前記方法は、前記生成された複数の第１及び/又は第２関心領域に対して前記第１及び/又は第２分類器を適用するステップを実行する前に、前記それぞれのバウンディングボックスリグレッサで、前記それぞれの複数の第１及び/又は第２関心領域に対してバウンディングボックス回帰を実行して、前記複数の第１及び/又は第２関心領域の１つ以上の位置を洗練する、請求項５に記載の方法。
【請求項7】
前記タイヤのサイドウォールは、曲率を有し、前記デジタル画像データを用意することは、前記曲率の歪みを解消することを含む、請求項１～６のいずれかに記載の方法。
【請求項8】
前記デジタル画像データを５０％から８０％の間にダウンサンプリングすることを含む、請求項１～７のいずれかに記載の方法。
【請求項9】
前記方法はＣＰＵを使って実行される、請求項１～８のいずれかに記載の方法。
【請求項10】
前記デジタル画像データは、前記タイヤのサイドウォールの複数の画像のデジタル画像データを含み、前記第１画像チャネルを生成すること、前記第１特徴マップを生成すること、及び前記第１分類器を適用することが前記複数の画像の各画像に対して実行されて、前記エンボス及び／又は刻印されたマーキングが前記１つ以上の第１クラスの、どれに分類されたのかを識別する複数の分類結果、及び前記１つ以上の識別された第１クラスのそれぞれに対応するそれぞれの複数の信頼水準を提供し、
前記信頼水準に基づいて、前記識別された第１クラスの１つ以上がフォールスポジティブであると判断する、請求項１～９のいずれかに記載の方法。
【請求項11】
前記方法は、前記各分類結果において前記１つ以上の識別された第１クラスのそれぞれについて、前記信頼水準が所定の第１閾値を超える場合、定数を乗算することによって前記対応する信頼水準を修正することをさらに含む、請求項１０に記載の方法。
【請求項12】
前記方法は、前記１つ以上の識別された第１クラスのそれぞれについて、前記信頼水準を追加してそれぞれの信頼スコアを生成すること、及びそれぞれの信頼スコアが所定の第２閾値を下回る場合、前記信頼スコアに基づいて、前記識別された第１クラスの１つ以上がフォールスポジティブであると判断することをさらに含む、請求項１１に記載の方法。
【請求項13】
分類器をトレーニングするのに使用するためのトレーニングデータセットを生成して、タイヤのサイドウォールの１つ以上の、エンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するコンピュータ実装方法であって、１つ以上のエンボス加工及び／又は刻印されたマーキングを有する、各タイヤのサイドウォールの複数のデジタル画像及び各デジタル画像データを用意すること、
前記各デジタル画像データを１つ以上の第１クラスでラベリングすること、及び
前記各タイヤのサイドウォールの第１部分に対応する、前記各デジタル画像データの第１部分から各第１画像チャネルを生成することを含み、
前記生成することは、前記各第１画像チャネルを生成するために、前記各デジタル画像データの第１部分にヒストグラム均等化を実行することを含み、
前記方法は、前記各デジタル画像データの第１部分からそれぞれ第２及び第３画像チャネルを生成することを含み、
前記それぞれ第２及び第３画像チャネルを生成することは、
前記第２画像チャネルを生成するために、前記各デジタル画像データの第１部分に適応ヒストグラム均等化を実行すること、及び
前記各デジタル画像データの第１部分を前記第３画像チャネルとして割り当てることを含む、方法。
【請求項14】
前記方法は、前記各デジタル画像データを１つ以上の第２クラスでラベリングすることを含み、前記生成することは、第４画像チャネルを生成するために、前記各デジタル画像データの第１部分に対してガウス演算の差分を実行することを含む、請求項１３に記載の方法。
【請求項15】
前記各タイヤのサイドウォールは、曲率を有し、前記複数のデジタル画像と各デジタル画像データを用意することは、前記曲率の歪みを解消することを含む、請求項１３から１４のいずれかに記載の方法。
【請求項16】
前記複数のデジタル画像のうち、少なくとも１つは、合成的に生成される、請求項１３から１５のいずれかに記載の方法。
【請求項17】
前記各デジタル画像データは５０％から８０％の間にダウンサンプリングされる、請求項１３から１６のいずれかに記載の方法。
【請求項18】
分類器をトレーニングして、タイヤのサイドウォールの１つ以上の、エンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するコンピュータ実装方法であって、 第１トレーニングデータで第１分類器をトレーニングすることであって、前記第１トレーニングデータは、複数のタイヤサイドウォールのそれぞれに対して、前記タイヤサイドウォールの第１部分のデジタル画像から導出された各デジタル画像データを含み、各サイドウォールは１つ以上のエンボス及び/又は刻印を有する、トレーニングすること、前記デジタル画像データは、１つ以上のラベルでラベリングされ、それぞれのラベルは、複数の第１クラスのうちの１つにマーキングを含むタイヤを示すこと、
前記デジタル画像データは、第１画像チャネルを有し、
前記第１画像チャネルは、対応する前記デジタル画像の第１部分にヒストグラム均等化を実行することによって生成され、
前記デジタル画像データは、第２及び第３画像チャネルを有し、
前記第２画像チャネルは、前記第２画像チャネルを生成するために、前記デジタル画像の第１部分に適応ヒストグラム均等化を実行することにより生成され、
前記第３画像チャネルは、前記デジタル画像の第１部分を前記第３画像チャネルとして割り当てることによって生成される、方法。
【請求項19】
前記方法は、第２トレーニングデータで第２分類器をトレーニングすることであって、前記第２トレーニングデータは、前記複数のタイヤサイドウォールのそれぞれに対して、前記タイヤサイドウォールの第１部分のデジタル画像から導出された各第２デジタル画像データを含む、トレーニングすることを含み、
前記デジタル画像データは、１つ以上の第２ラベルでラベリングされ、それぞれの第２ラベルは、複数の第２クラスのうちの１つにマーキングを含むタイヤを示し、
前記デジタル画像データは、第４画像チャネルを有し、
前記第４画像チャネルは、対応する前記デジタル画像の第１部分にガウス演算の差分を実行することによって生成される、請求項１８に記載の方法。
【請求項20】
請求項１から１９のいずれかに記載の方法を実行するための手段を備える、データ処理装置。
【請求項21】
コンピュータによって実行されると、前記コンピュータに請求項１から１９のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム。
【請求項22】
請求項２１に記載のコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、タイヤのサイドウォール上における、１つ以上のエンボス及び/又は刻印されたマーキングを、１つ以上のクラスに分類し、このタスクを実行するように分類器をトレーニングし、且つ分類器をトレーニングするためのトレーニングデータを生成するための、コンピュータ実装方法に関する。
【背景技術】
【0002】
タイヤサイドウォールとして知られている、車両タイヤの外面は、タイヤのブランド、モデル、及び幾つかのコードに関するテキストベースの情報を持つ。コードは、例えば、製造工場、タイヤの年代、タイヤの種類、意図された負荷、速度の定格とサイズ、製造バッチ情報、及びその他の製品情報などの情報を持つ。コードは、例えば、１つ以上の文字及び/又は数字の組み合わせを含み得る。さらに、サイドウォールはまた、他の有益なテキスト、ロゴ、記号、ピクトグラム、及び/又は他の情報の視覚的表現を有し得る。車両ユーザー、特にフリートオペレーターにとって、この情報のさまざまな断片は重要である。なぜなら、それは、保有する車両のタイヤの使用状態を追跡するための一貫した信頼できる方法を提供し、それによって、フリートオペレーターが保有する車両のタイヤの在庫に関するデータ分析を実行する能力を大幅に向上させるからである。
【0003】
タイヤサイドウォールの読み取りプロセスを自動化する試みが為されていたが、そのようなシステムは、屋内及び制御された検査タスクで使用するための３Ｄスキャナーベースシステム（ＭｉｃｒｏＥｐｓｉｌｏｎ、Ｃｏｇｎｅｘ、及びＮｕｍｅｔｒｉｘから入手可能）、又は屋内と屋外の両方のアプリケーションに使われるハンドヘルドレーザーデバイスのいずれかである。このようなシステムは、構造化されたレーザー光コンポーネントを考慮すると、製造に費用がかかる、調整が難しい、破損しやすい、及び/又は人間のオペレーターの支援を必要とする、のいずれかであり、そのため、真に自動化され、費用効果が高いものとは言えない。
【0004】
構造化照明なしで撮影された画像に光学式文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を適用すれば、ハードウェアのコストは大幅に削減するだろう。しかしながら、屋外でタイヤを使用することは（例えば材料の浸食、埃、乾燥、及び/又は湿度が原因で）サイドウォールのテキストの摩耗を引き起こすため、そしてテキストが非常に低いコントラストを有するため（黒地に黒）、自動化されたシステムはおろか、人間の観察者でさえ解読するのが困難なときがあり、カラー又はグレースケール画像ＯＣＲに基づくこれまでの試みは成功していない。
【0005】
このようなシステムを作る際の課題は、望ましくは、システムを通過するときの移動する車両のタイヤ上のテキスト、又はシステムの視野（ＦＯＶ）がタイヤ上を移動するときの静止しているタイヤ上のテキストの両方を読み取るのに十分速いということである。また、さまざまな条件（例えば屋外のさまざまな気象条件及び/又はフリートデポ（fleet depot）における屋内の埃っぽい／汚れた状態）を補正し、人間のオペレーターの支援なしに正確で再現性のある結果を生成できることが望ましい。
【0006】
強化されたコントラスト画像を提供するイメージングシステムは、国際公開第２０１７／０６０７３９号において提案されている。特に、タイヤサイドウォールコードなどのエンボス又は刻印されたテキストを読み取る場合、シャドウキャスティングを通してテキストのコントラストひいては読みやすさを改善できるため、照明が重要である。一方、国際公開第２０１７／０６０７３９号は、画像分析ソフトウェアを使用してこのような画像に対してＯＣＲを実行し、エンボスされたマーキングを読み取ることを提案しているが、国際公開第２０１７／０６０７３９号において説明されている従来のＯＣＲ技術は速度が遅すぎるか、及び/又は非理想的で非実験室における設定下での精度が低いため、うまく機能しない。
【0007】
深層学習ベースの画像分類とテキスト認識の最近の開発は、深層畳み込みニューラルネットワーク（ＣＮＮ）を、オブジェクトとテキストの検出及び認識タスクの性能表のトップに押し上げた。このようなタスクに適する既知のタイプのＣＮＮは、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．で初めて提案されたＦａｓｔｅｒＲ-ＣＮＮである。
【0008】
ＦａｓｔｅｒＲ-ＣＮＮは、バックボーンと呼ばれる深層ＣＮＮ特徴抽出器を持つ。バックボーンとして使える、多くの既知の深層ＣＮＮ特徴抽出器があり、例えば、ＶＧＧ１６、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１００、ＩｎｃｅｐｔｉｏｎＮｅｔ、ＡｌｅｘＮｅｔなどを含む。ＶＧＧ１６は、Ｋ．Ｓｉｍｏｎｙａｎ，Ａ．Ｚｉｓｓｅｒｍａｎ，Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｒＸｉｖ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ，２０１４．において初めて提案された。
【0009】
Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．において説明されたように、バックボーン特徴抽出器は、分類器によってさらに処理される関心領域（プロポーザル（proposals）とも呼ばれる）を提案する組み込みのＲＰＮ（Region Proposal Network）に分岐する。分類器は、ＲＰＮのプロポーザルの内容をトレーニングデータに従って所定のクラスに分類する。
【0010】
オブジェクトとテキストの検出と認識に使われている既知のＣＮＮの他の例は、ＦａｓｔＲ－ＣＮＮ、Ｒ－ＣＮＮ、ＳＰＰＮｅｔ、ＳＳＤ、ＹＯＬＯｖ１/ｖ２/ｖ３、及びＥＡＳＴ ｔｅｘｔ ｄｅｔｅｃｔｏｒを含む。
【0011】
上記で示されたように、このようなＣＮＮをタイヤサイドウォールの読み取りタスクに適用する際の問題は、タイヤサイドウォールの画像が、背景のタイヤサイドウォールと、エンボス及び/又は刻印されたマーキングとの間の非常に低いコントラストを有する場合が多いことである。これは、特に、エンボス及び/又は刻印されたマーキングが部分的に摩耗していて、且つ、人間の目でも読むのが難しい、古くて摩耗したタイヤについて言える。画像キャプチャに使われるカメラの解像度を上げることは、磨耗したエンボス及び/又は刻印されたマーキングに関連する画像データが背景に対して完全に見失われないようにするのに役立つ。本明細書で言及される高解像度とは、画像内のタイヤサイドウォールの曲率の歪みが解消、すなわち前処理中に除去された後、画像が一般的に約５００×２０００から５００×４０００のピクセルの解像度を有することを意味する。
【0012】
しかしながら、当該技術分野で知られているように、ＣＮＮへの入力として高解像度画像を使用することは、著しく遅く、且つ、ＣＮＮをトレーニングすること、及びテスト時に見えなかったデータを推論することの両方に対して、より多くの処理リソースを必要とする。このようなタスクには強力なグラフィックスプロセッシングユニット（ＧＰＵ：graphics processing unit）を使うことができる一方、ＧＰＵは、安価でより強力でない中央処理装置（ＣＰＵ：central processing unit）と比較すると金銭的コストが高い。
【0013】
従って、例えばＣＰＵなどに効率よく実装され得る、タイヤのサイドウォール上のエンボス及び/又は刻印されたマーキングを分類する、改良されたコンピュータ実装方法が理想的に必要となる。
【0014】
以下の用語は、本明細書では以下の意味を与えられている：
「歪みを解消する（unwarping）」：曲率を有するタイヤサイドウォールの画像を、曲率が除去又は直線化された画像にマッピングすること。
「画像チャネル」：デジタル画像の基礎となる画像データの１つ以上の所定の要素。
「合成的に生成された/合成データ」：例えば他のソースからの限られたデータしか利用できない場合、アルゴリズムを使って生成され、トレーニングのためのデータの総量を増やすために使われるデータ。
「トレーニング期間」：ＣＮＮが所定の許容可能な精度と再現率に収束するために掛かる時間。
「テスト時」：トレーニングされたＣＮＮが、訓練されたタスクを実行する時、例えば、トレーニングされたＣＮＮが、以前は見えなかったタイヤのサイドウォール上の１つ以上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類する時。
「ヒストグラム均等化」：複数の強度値範囲にわたって元の画像の強度値の分布のヒストグラムを形成すること、元の画像の強度値と変更された強度値との間のマッピングをヒストグラムに基づいて決定すること、及び、マッピングに従って元の画像の強度値を変更して、変更された画像を生成することによって、元の画像に適用されるコントラスト調整の画像処理の方法であり、ここで、マッピングは、等しい幅の遡及的強度範囲間における低減された分散などの均一性の基準に従って、強度範囲間のピクセル強度の分布が、元の画像よりも変更された画像の方が均一になるように、選ばれる。
「適応ヒストグラム均等化」：ピクセル又はピクセル領域の近傍（例えば、ピクセル又はピクセル領域の所定の距離内における元の画像の一部）を使って定義された対応するマッピングを使って、元の画像の各ピクセル又はピクセル領域に対してヒストグラム均等化が実行される、コントラスト調整の画像処理方法。
「アンカー」：事前知識から、画像上の他の特徴の存在と位置を示すことが知られている画像上の特徴。
「ガウス演算の差分（ＤｏＧ：Difference of Gaussians）」：元の画像の不鮮明なバージョンが、元の画像を異なる標準偏差を持つガウスカーネルで畳み込むことによって取得できる元の画像の不鮮明でない別のバージョンから差し引かれる、特徴強調の画像処理の方法。
「ＣＰＵ」及び「ＧＰＵ」：中央処理装置及びグラフィックスプロセッシングユニットであり、ＧＰＵはより高いクロック速度で作動するＣＰＵのより少ない処理コアよりも、より低いクロック速度で作動するより多くの処理コアを用意するように構成されている。
「歪みを解消する（unwarping）」：曲率を有するタイヤサイドウォールの画像を、曲率が除去又は直線化された画像にマッピングすること。
「画像チャネル」：デジタル画像の基礎となる画像データの１つ以上の所定の要素。
「合成的に生成された/合成データ」：例えば他のソースからの限られたデータしか利用できない場合、アルゴリズムを使って生成され、トレーニングのためのデータの総量を増やすために使われるデータ。
「トレーニング期間」：ＣＮＮが所定の許容可能な精度と再現率に収束するために掛かる時間。
「テスト時」：トレーニングされたＣＮＮが、訓練されたタスクを実行する時、例えば、トレーニングされたＣＮＮが、以前は見えなかったタイヤのサイドウォール上の１つ以上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類する時。
「ヒストグラム均等化」：複数の強度値範囲にわたって元の画像の強度値の分布のヒストグラムを形成すること、元の画像の強度値と変更された強度値との間のマッピングをヒストグラムに基づいて決定すること、及び、マッピングに従って元の画像の強度値を変更して、変更された画像を生成することによって、元の画像に適用されるコントラスト調整の画像処理の方法であり、ここで、マッピングは、等しい幅の遡及的強度範囲間における低減された分散などの均一性の基準に従って、強度範囲間のピクセル強度の分布が、元の画像よりも変更された画像の方が均一になるように、選ばれる。
「適応ヒストグラム均等化」：ピクセル又はピクセル領域の近傍（例えば、ピクセル又はピクセル領域の所定の距離内における元の画像の一部）を使って定義された対応するマッピングを使って、元の画像の各ピクセル又はピクセル領域に対してヒストグラム均等化が実行される、コントラスト調整の画像処理方法。
「アンカー」：事前知識から、画像上の他の特徴の存在と位置を示すことが知られている画像上の特徴。
「ガウス演算の差分（ＤｏＧ：Difference of Gaussians）」：元の画像の不鮮明なバージョンが、元の画像を異なる標準偏差を持つガウスカーネルで畳み込むことによって取得できる元の画像の不鮮明でない別のバージョンから差し引かれる、特徴強調の画像処理の方法。
「ＣＰＵ」及び「ＧＰＵ」：中央処理装置及びグラフィックスプロセッシングユニットであり、ＧＰＵはより高いクロック速度で作動するＣＰＵのより少ない処理コアよりも、より低いクロック速度で作動するより多くの処理コアを用意するように構成されている。
【発明の概要】
【0015】
一般的に、本発明は、トレーニングされたＣＮＮがタイヤサイドウォールの画像におけるエンボス及び/又は刻印されたマーキングを分類できることの効率を改善し、そのタスクを実行するためにＣＮＮをトレーニングするのに必要な時間を短縮することに関する。特に、初期に取得された歪みが解消された画像データを使って特徴マップを生成する代わりに、歪みが解消された画像データに対してヒストグラム均等化を実行して新しい画像チャネルを生成する。この新しい画像チャネルは、エンボス及び/又は刻印されたマーキングを分類するために使われる特徴マップを生成するために使われる。これにより、トレーニング期間と、テスト時にエンボス及び/又は刻印されたマーキングを許容可能なレベルの精度に分類するために必要な処理リソースとの両方が削減される。
【0016】
特徴マップが、単一の画像チャネルからではなく、上記のヒストグラム均等化チャネルである第１チャネル、初期の歪みが解消された画像データに適応ヒストグラム均等化を実行することによって生成された第２チャネル、及び初期の歪みを解消した画像データを含む第３チャネルからなる３つの画像チャネル入力から生成される場合、分類器の精度のさらなる改善が達成される。
【0017】
本発明者らは、初期に取得された歪みが解消された画像データのみを単一の画像チャネルとして使うＦａｓｔｅｒＲ－ＣＮＮのトレーニングの期間より、上記の３つの画像チャネルを使うＦａｓｔｅｒＲ－ＣＮＮのトレーニング期間の方が、約８－１０倍速いことを発見した。以前には見えなかったデータのテスト精度もまた高かった。
【0018】
テスト時に、本発明者らはさらに、上記の３つの画像チャネルを使ってトレーニングされ、且つダウンサンプリング（５０％）された画像においてテストされたＦａｓｔｅｒＲ-ＣＮＮは、エンボス及び/又は刻印されたマーキングを分類するために、より高価なＧＰＵではなく、ＣＰＵにおいてリアルタイムに実行できることを発見した。
【0019】
従って、本発明は、タイヤのサイドウォール上にエンボス及び/又は刻印されたマーキングを分類するようにＣＮＮをトレーニングするための、より速く、且つより安価な方法、及びより高い精度でテスト時の新しいタイヤサイドウォール画像にトレーニングされたＣＮＮを適用するための、より速く、且つより安価な方法を提供する。
【図面の簡単な説明】
【0020】
【図4】図４は、ある実施形態に係る、タイヤのサイドウォール上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するための、分類器のトレーニングに使用するトレーニングデータセットを生成する方法のフローチャートである。
【図5】図５は、ある実施形態に係る、タイヤのサイドウォール上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するための、分類器のトレーニングに使用するトレーニングデータセットを生成する方法のフローチャートである。
【発明を実施するための形態】
【0021】
第１の態様によれば、タイヤのサイドウォール上の１つ以上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するためのコンピュータ実装方法が提供される。
【0022】
次に、第１の実施形態を、図１を参照して説明する。
【0023】
第１ステップにおいて、タイヤのサイドウォールのデジタル画像を定義するデジタル画像データ１０１が用意される。
【0024】
第２ステップにおいて、デジタル画像データ１０１の第１部分にヒストグラム均等化を実行することによって、デジタル画像データ１０１から第１画像チャネル１０２が生成され、第１部分は、タイヤのサイドウォールの対応する第１部分に関連する。第１部分は、タイヤのサイドウォール全体又はタイヤの他の部分であり得る。
【0025】
ヒストグラム均等化は、より高いコントラストを得るために、画像内の局所的により低いコントラストの領域をもたらし、黒い前景と背景を有するタイヤのサイドウォールの場合など、背景と前景の両方とも明るいか、両方とも暗い場合にうまく機能する。これは、例えば、ＯｐｅｎＣＶなどのプログラミング機能の任意の既知のライブラリからの機能を使用して実行され得るが、当業者には他のライブラリも知られているであろう。適切なヒストグラム均等化関数の例は、ＯｐｅｎＣＶライブラリの「ｅｑｕａｌｉｚｅＨｉｓｔ」関数である。従って、第１デジタル画像データ１０１に対してヒストグラム均等化を実行して第１画像チャネル１０２を生成することは、エンボス及び/又は刻印されたマーキングが配置されている場所を含む、タイヤサイドウォールの低コントラスト領域に対応するデータにおけるコントラストを強調させる。
【0026】
第３ステップにおいて、第１画像チャネル１０２を使って第１特徴マップ１０３が生成される。第１特徴マップ１０３は、例えば、入力された第１画像チャネル１０２上をカーネルがスライドするＣＮＮの畳み込み層の出力であり得る。ここでは第１画像チャネル１０２を使って生成される特徴マップをもたらす任意の適切なＣＮＮアーキテクチャが使用され得ることが想定される。適切なアーキテクチャの例は、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．に説明されている。
【0027】
第４ステップにおいて、エンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するために、第１分類器１０４が第１特徴マップ２０３に適用される。エンボス及び/又は刻印されたマーキングが分類されるクラスの種類のいくつかの非限定的な例は、ブランドロゴ、タイヤの種類とモデル、ブランドの記号、「ＤＯＴ」コード（規制上の理由から、他のエンボス及び/又は刻印されたサイドウォールのマーキングの前によくある、文字「Ｄ」、「Ｏ」、「Ｔ」で構成される文字シーケンス）、及び文字シーケンス「５/」（規制上の理由から、刻印されたサイドウォールのマーキングのタイヤサイズの一部であることが多い）などがある。一つの実施形態では、第１分類器１０４がエンボス及び／又は刻印されたマーキングを、３７０を超える数の異なるクラスに分類することができ、それにより、異なるブランドロゴ及び記号が互いに区別され、異なるタイヤタイプ及びモデルマーキングが互いに区別され、文字シーケンス「Ｄ」、「Ｏ」、「Ｔ」及び／又は「５/」が互いに、タイヤサイドウォール上の他のマーキングと区別されることを可能にする。例えば、所与の入力されたタイヤサイドウォール画像に対して、複数のタイヤブランドロゴ又は記号、タイヤタイプ及びモデル及び関連するタイヤの特性を示す情報、文字シーケンス「Ｄ」、「Ｏ」、「Ｔ」、及び/又は「５/」の内の１つを含むタイヤサイドウォール上のエンボス及び／又は刻印を決定するために、第１分類器１０４が使われ得る。
【0028】
図２を参照して、第２の実施形態が提供される。
【0029】
第１の実施形態の第１ステップと同様の第１ステップにおいて、タイヤのサイドウォールのデジタル画像を定義するデジタル画像データ２０１が用意される。
【0030】
第２ステップにおいて、第１の実施形態と同様に、第１画像チャネル２０２ａは、デジタル画像データ２０１の第１部分に対してヒストグラム均等化を実行することによって、デジタル画像データ２０１から生成される。上記のように、デジタル画像データ２０１の第１部分は、タイヤのサイドウォールの対応する第１部分に関連し、第１部分は、タイヤのサイドウォールの全体又はタイヤの他の部分であり得る。
【0031】
しかしながら、上記で説明されたように、第１画像チャネル２０２ａを生成することに加えて、第２画像チャネル２０２ｂ及び第３画像チャネル２０２ｃも用意される。
【0032】
第２画像チャネル２０２ｂは、デジタル画像データ２０１の第１部分に対して適応ヒストグラム均等化を実行することによって生成される。
【0033】
適応ヒストグラム均等化は、画像のコントラストを改善するという点でヒストグラム均等化に似ている。しかし、それぞれが画像の個別のセクションに対応するいくつかのヒストグラムを計算し、これらを使って画像の明度値を再分配するという点で異なる。従って、ヒストグラム均等化は、背景と前景の両方が明るい又は両方が暗い場合にうまく機能し、適応ヒストグラム均等化は、画像の他の部分よりも大幅に明るいか暗い領域を含む画像の場合にうまく機能する。適応ヒストグラム均等化は、たとえば、ＯｐｅｎＣＶなどのプログラミング関数の既知のライブラリからの関数を使って実行され得るが、当業者には他の関数も知られているだろう。適切な適応ヒストグラム均等化関数の例は、ＯｐｅｎＣＶライブラリの「ＩＭＣＬＡＨＥ」関数である。従って、第１デジタル画像データ２０１に対して適応ヒストグラム均等化を実行して第２画像チャネル２０２ｂを生成することは、画像の大部分よりも著しく明るい又は暗い領域に対応するデータのコントラストを向上させる。
【0034】
上記で説明されたように、第１画像チャネル２０２ａを生成すること、及び第２画像チャネル２０２ｂを生成することに加えて、デジタル画像データ２０１は第３画像チャネル２０２ｃとして割り当てられる。従って、３つのチャネル２０２ａ、２０２ｂ、２０２ｃは、一緒にされると、２つの異なる方法（ヒストグラム均等化と適応ヒストグラム均等化）でコントラストが強調された画像データと、最初に用意された画像データ２０１を含む。このように、デジタル画像データ２０１に２つのコントラスト強調画像チャネルを補足することは、トレーニング期間を短縮することと、トレーニングされたＣＮＮが、上記で説明されたように本質的に非常に低いコントラストを有し、且つＯＣＲでは検出及び認識するのが困難なエンボス及び／又は彫刻されたマーキングを分類することを可能にすることとにおいて、驚くほど効果的であることが分かった。
【0035】
第３ステップでは、第１、第２、及び第３画像チャネル２０２ａ、２０２ｂ、２０２ｃを使って、第１特徴マップ２０３が生成される。 第１の実施形態に関連して上記で説明されたように、第１特徴マップ２０３は、例えば、カーネルが入力上をスライドするＣＮＮの畳み込み層の出力であり得る。この場合、入力は、第１、第２、及び第３画像チャネル２０２ａ、２０２ｂ、２０２ｃである。 第１、第２、及び第３画像チャネル２０２ａ、２０２ｂ、２０２ｃを使って生成される特徴マップをもたらす、任意の適切なＣＮＮアーキテクチャが使用され得ることが想定される。適切なアーキテクチャの例は、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．に説明されている。
【0036】
第１の実施形態の第４ステップと同じである第４ステップにおいて、エンボス及び/又は刻印されたマーキングを、第１の実施形態に関連して上記で説明された１つ以上のクラスに分類するために、第１分類器２０４が第１特徴マップ２０３に適用される。
【0037】
図３を参照して、第２実施形態と同様の第３実施形態が提供される。 特に、第２実施形態と同様に、エンボス及び/又は刻印されたマーキングを有するタイヤサイドウォールのデジタル画像データ３０２が用意され、第１画像チャネル（ヒストグラム均等化）３０２ａ及び第２画像チャネル（適応ヒストグラム均等化）３０２ｂが生成され、デジタル画像データ３０１は、第３画像チャネル３０２ｃとして割り当てられる。第２実施形態と同様に、第１特徴マップ３０３ａは、３つのチャネル３０２ａ、３０２ｂ、３０２ｃを使って生成され、第１分類器３０４ａが第１特徴マップ３０３ａに適用されて、エンボス及び/又は刻印されたマーキングを上記に説明されたタイプの１つ以上の第１クラスに分類する。
【0038】
第１クラスのエンボス及び/又は刻印されたマーキングの１つ以上を、第１クラスにないタイヤサイドウォール上の他のエンボス及び/又は刻印を局限するために役立つアンカーとして使うことができる。これらの他のエンボス及び/又は刻印されたマーキングは、例えば、製造工場、年代、タイヤのタイプ又はモデル、意図される負荷、速度定格及びサイズ、製造バッチ情報、製造業者の詳細、及び他の詳細な製品情報に関連するより詳細な情報を含み得る。たとえば、規制上の理由から、「ＤＯＴ」、「５/」、又は他の文字シーケンスの後に、上記のタイプの情報を指定する英数字又は他の文字が続く場合がある。従って、これらのアンカー文字シーケンスが第１分類器を用いて見つかる場合、他のクラスの他のエンボス及び/又は刻印されたマーキングのおおよその位置がより効率的に局限され、他の位置は破棄されてもよい。
【0039】
これは、３つのチャネル３０２ａ、３０２ｂ、３０２ｃの入力、第１特徴マップ３０３ａ、及び第１分類器３０４ａを用意することに加えて、他のエンボス及び/又は刻印されたマーキングを他の、第２クラスに分類することを目的とする第２分類ブランチを用意することによって達成できる。
【0040】
第２分類ブランチへの入力は、第２分類ブランチにおける唯一のチャネルである第４チャネル３０２ｄである。第４チャネル３０２ｄは、デジタル画像データ３１０の第１部分にガウス演算の差分を適用することによって生成される。任意に、第１部分は、「ＤＯＴ」及び/又は「５/」アンカーの間又は先行するエンボス又は刻印された情報の推定された長さにトリミングすることによってデジタル画像データ３０１から作成された新しい画像である。例えば、「ＤＯＴ」は、通常、残りのエンボス及び/又は刻印されたマーキングコードの前にあり、マーキングコードは、例えば、各文字が同様のピクセル幅を有する１４～２０文字の長さであり得る。「ＤＯＴ」アンカー内の１つ以上の文字のピクセル単位の文字幅を測定することにより、１４から２０文字の幅に等しいおおよその画像幅が決定され、デジタル画像データをトリミングして第１部分を生成するために使われてもよい。「５/」アンカーを考慮すると、「５/」アンカーは通常、タイヤサイズの一部を形成するため、残りの文字に先行するのではなく、文字の間に現れる。従って、「５/」の中の「５」のピクセル単位の文字幅が測定されてもよく、画像が「５/」アンカーの前の数文字の幅（通常３）と後の数文字の幅（通常１４）にトリミングされる。上で定義されたように、ガウス演算の差分は、デジタル画像のエッジの可視性や他の細部を強調する特徴強調アルゴリズムである。
【0041】
この第４チャネル３０４ｄから、別個の第２特徴マップ３０３ｂが生成される。第１特徴マップ３０３ａと同様に、第２特徴マップ３０３ｂは、例えば、カーネルが入力上をスライドするＣＮＮの畳み込み層の出力であり得る。この場合、入力は第４画像チャネル３０２ｄである。
【0042】
次に、第１分類器３０４ａとは異なる第２分類器３０４ｂが第２特徴マップ３０３ｂに適用されて、エンボス及び/又は刻印されたマーキングを、第１クラスとは異なる１つ以上の第２クラスに分類する。
【0043】
従って、第１分類器３０４ａは、他のエンボス及び/又は刻印されたマーキングのおおよその位置を推論できるアンカーを検出及び認識することができ、第２分類器３０３ｂは、他のエンボス及び/又は刻印されたマーキングを第２クラスに分類することが出来る。どのクラスとどのアンカーが選択されたかによっては、第２クラスの１つ以上が最初のクラスの１つ以上と同じで、区別されない場合があり得る。例えば、１つ以上の英数字をアンカーとして使うことができ、同時に、第２分類器３０４ｂによって分類される、例えばタイヤ特性に関連する情報を含むことができる。このようなシナリオでは、英数字は第１クラスと第２クラスの両方に属する。さらに、本明細書では記号及びロゴが、一般に第１クラスに属するものとして説明されてきたが、それらは第２クラスにも属することが出来ると想定される。
【0044】
任意に、デジタル画像データ３０１の第１部分の全体に対してガウス演算の差分を実行する代わりに、それは第１部分の一部に対してのみ実行され得る。例えば、第１分類器が「ＤＯＴ」又は「５/」文字シーケンスなどのアンカーを識別した場合、「ＤＯＴ」又は「５/」文字シーケンスに隣接するデジタル画像の所定の高さと幅の領域（例えば、アンカーから所定の距離内）のみが、第２クラスのエンボス及び/又は刻印されたマーキングを含む可能性が高いと推論できる。従って、デジタル画像データの第１部分は、その所定の領域に対応するようにトリミングされてもよく、ガウス演算の差分は、デジタル画像データの第１部分の全体ではなく、画像の対応するパッチ及びデジタル画像データの第１部分の対応する部分に対してのみ効率的に実行されてもよい。
【0045】
このように画像をトリミングすることにより、それに対しガウス演算の差分が実行され、そこから第２特徴マップ３０３ｂが生成され、且つそれに第２分類器３０４ｂが適用される画像の解像度は小さくなり、従って、トレーニング中とテスト時の両方においての処理リソースがより少なくて済む。
【0046】
従って、１つの例示的な実装では、第１分類器は、ブランドロゴ、タイヤのタイプ及びモデル、記号、及び「ＤＯＴ」や「５/」などのアンカーとして使う所定の文字シーケンスなど、３７０を超える第１クラスを識別するために、完全な、トリミングされていない高解像度画像でトレーニングされることが想定される。ただし、第１分類器は、アンカーに隣接して表示され、製造工場、年代、タイヤタイプ、意図された負荷、速度定格、サイズなどのより詳細なタイヤ情報を含む、第２クラスの文字シーケンス間を識別して区別するようにトレーニングされていない。（アンカーに隣接する）画像のごく一部のみが実際にこれらの文字シーケンスを含み、残りは空であるため、このタスクに第１分類器、及び、完全な、トリミングされていない高解像度画像を使うのは非効率的である。代わりに、上記で説明されたように、第２分類器はこのタスクのためにアンカーに基づいて所定の高さと幅の、より小さなトリミングされた画像でトレーニングされる。この例示的な実装では、第２分類器は、英数字０－９及びＡ－Ｚなどの３９を超える第２クラス、及びタイヤ製品情報を指定するために使用される「/」記号及び/又は他の記号などの追加のクラスを識別するようにトレーニングされる。
【0047】
さらに、本発明者らは、「ＤＯＴ」及び/又は「５/」文字シーケンスに続くタイヤ製品情報を指定する第２クラスの文字シーケンスのマーキングと比較して、第１クラスのロゴ及び記号のエンボス及び/又は刻印されたマーキングを製造するために、タイヤ製造業者らが異なる技術を使用することを発見した。ロゴと記号のテクスチャにガウス演算の差分を適用することは、驚くべきことに、主にテクスチャによって区別される第１クラスにロゴと記号を分類するのに有害であることが分かった。従って、ガウス演算の差分は第１分類ブランチでは使われない。対照的に、ガウス演算の差分は、主にエッジによって区別されるエンボス又は刻印されたマーキングである、第２クラスのエンボス及び/又は刻印された文字シーケンスのエッジを強調するのに特に効果的であることが分かった。
【0048】
上記の実施形態のすべてに関連して、「ＤＯＴ」及び「５/」文字シーケンスはアンカーとして提案されているが、他の文字シーケンス及び/又は記号又は他のエンボス及び/又は刻印もこの目的のために使われ得る。
【0049】
任意に、上記の実施形態のすべての方法は、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．に記載されているように、ＦａｓｔｅｒＲ－ＣＮＮネットワークを用いて実行され得る。
【0050】
特に第３の実施形態に関して、第１分類器３０４ａは、第１ＦａｓｔｅｒＲ－ＣＮＮネットワークにおける分類器であってもよく、第２分類器３０４ｂは、第２ＦａｓｔｅｒＲ－ＣＮＮネットワークにおける分類器であってもよく、第１ＦａｓｔｅｒＲ－ＣＮＮネットワークは第２ＦａｓｔｅｒＲ－ＣＮＮネットワークとは異なる。
【0051】
従って、第１ＦａｓｔｅｒＲ－ＣＮＮネットワークは、第１クラスに対応する画像の特徴を識別及び分類し、第２ＦａｓｔｅｒＲ－ＣＮＮは、第２クラスに関連して同じことを行うが、第２クラスに関連している。
【0052】
第１及び第２ＦａｓｔｅｒＲ－ＣＮＮネットワークのそれぞれは、第１及び第２特徴マップにおける複数の関心領域を生成するために、自身の関心領域ジェネレータを有し得る。
【0053】
第１及び第２ＦａｓｔｅｒＲ－ＣＮＮネットワークの各々はまた、各々の位置を絞り込むために、それぞれの生成された関心領域に対してバウンディングボックス回帰を実行するためのそれ自身のバウンディングボックスリグレッサを有し得る。さらに、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．に記載されているように、不均一なサイズの入力された関心領域を取り、所定の均一なサイズに再形成する関心領域プーリング層を用意し得る。第４チャネル（すなわち、第２分類器の唯一の入力チャネル）への入力が、第１分類器によって検出されたアンカーに基づいてトリミングされる第３実施形態の場合、関心領域プーリング層によって出力される関心領域の長方形の均一なサイズは、平均英数字（又は他のマーキング）の文字の長さをピクセル単位で計算し、第２クラスに対応するエンボス及び/又は刻印されたマーキングをキャプチャ出来るように、第２分類ブランチにおける第４チャネルのための画像のどこをトリミングするかを決定してもよい。
【0054】
非限定的な例として、「ＤＯＴ」アンカーが検出される場合、タイヤのサイドウォール上で１５－１８文字の英数字がそれに続くと予想される。「５/」アンカーの場合は、２－５文字が「５/」に先行すると予想され、１２－１５文字が「５/」に続くと予想される。いずれの場合も、文字の高さは通常約１００ピクセルである。従って、アンカー周辺のシーケンスの１５－１８文字及び/又は２－５文字と１２－１５文字すべてが第４チャネルのために保持されることを保証するように、画像はトリミング及びサイズ変更されることが出来る。第４チャネルの画像がどれだけトリミング及び/又はサイズ変更されるべきかを決定するために、他の文字シーケンスの長さと高さが使われてもよいことに留意されたい。
【0055】
任意に、すべての実施形態に関して、曲率を有するタイヤサイドウォールの画像を曲率が除去又は直線化された画像にマッピングすることによって入力チャネルを生成するように使われるデジタル画像データから、曲率が除去されるように、デジタル画像データのタイヤの曲率は、歪みが解消され得る。これは、任意の後続の処理を簡素化する。
【0056】
任意に、すべての実施形態に関して、デジタル画像データのいくつか又はすべては、５０％から８０％の間でダウンサンプリングされ得る。上記のように、デジタル画像は高解像度（例えば、約５００×４０００ピクセル）を有することが想定される。トレーニングされたＣＮＮが排他的にＣＰＵベースの操作を使用して処理/推論されると、テスト時にトレーニングされたＣＮＮをこのような高解像度の画像に適用することは、リソースが集中し、容認できない速度低下を引き起こす可能性がある。この速度低下により、ＣＮＮはリアルタイムで実行している時に許容可能な性能を達成出来なくなる。入力デジタル画像データをダウンサンプリングすることは、必要な計算リソースを大幅に削減するが、堅牢性と一般化機能を犠牲にしてしまう。この問題を克服するために、トレーニング時に、ＣＮＮが完全な、高解像度画像とダウンサンプリング画像との両方でトレーニングされるように、いくつかのトレーニングサンプルはランダムに５０％－８０％の間でダウンサンプリングされる。任意に、一般化をさらに改善するために、トレーニングサンプルの一部にわずかなアフィン変形が追加されてもよい。本発明者らは、完全な、高解像度画像、及び５０％－８０％の間にダウンサンプリングされた画像の両方を含む、任意の解像度の入力画像を一般化することにおいて、このようにトレーニングされたＣＮＮが、より著しく堅牢で且つ優れていることを発見した。従って、入力画像がテスト時に５０％－８０％ダウンサンプリングされる場合、上記の実施形態は、テスト時にＣＰＵ上で排他的に実行され得、従って、許容可能な性能でＣＰＵがリアルタイムに実行することを可能にする。エンボス及び/又は刻印されたマーキングが大きなロゴである場合、発明者らは、ダウンサンプリングがロゴを効果的に縮小してＣＮＮの受容野に適合させ、それによりロゴの検出を改善することを発見した。
【0057】
さらに、第３の実施形態に関して、そしてデジタル画像が第１分類ブランチによって識別された１つ以上のアンカーに基づく第２分類ブランチにおいて所定の高さ及び幅にトリミングされる場合、ダウンサンプリングは必要とされない。これは、トリミングが入力画像のサイズを大幅に削減し、それにより必要な計算リソースを削減するためである。例として、トリミングされた画像は、完全な、高解像度の入力画像の５００ピクセルの高さと比較して、約１００ピクセルの高さであり得る。
【0058】
第２の態様によれば、タイヤのサイドウォールの１つ以上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するための分類器をトレーニングするのに使用するトレーニングデータセットを生成するコンピュータ実装方法が提供される。この方法は、本発明の第１の態様の実施形態において使用される分類器をトレーニングするためのトレーニングデータを生成するために使用され得る。上記の第１の態様の実施形態の利点、技術的効果及び特徴は、対応する第２の態様の実施形態に適用し、組み合わされてもよい。
【0059】
図４を参照して、一実施形態では、トレーニングデータセット４００を生成する方法は、タイヤのそれぞれのサイドウォールの複数のデジタル画像及び各デジタル画像データ４０１を用意することを含み、各サイドウォールは、１つ以上のエンボス及び/又は刻印されたマーキングを有する。この方法は、例えば、ブランドロゴ、タイヤのタイプ及びモデル、ブランド記号、アンカー、又は上記に説明された他の第１クラスに対応する、１つ以上の第１クラスで各デジタル画像データ４０１をラベリング４０２することをさらに含む。それぞれのデジタル画像及び各デジタル画像データ４０１に対して、各第１画像チャネル４０３は、各タイヤサイドウォールの対応する第１部分に関連する各デジタル画像データ４０１の第１部分から生成される。生成することは、上記のように、各デジタル画像データ４０１の第１部分に対してヒストグラム均等化を実行することを含む。
【0060】
図５を参照して、図４に示された実施形態と同様の、さらなる実施形態が説明される。上記の実施形態と同様に、トレーニングデータセット５００を生成する方法は、各タイヤのサイドウォールの複数のデジタル画像及び各デジタル画像データ５０１を用意することを含み、それぞれのサイドウォールは、１つ以上のエンボス及び/又は刻印されたマーキングを有する。デジタル画像データ５０１は、１つ以上の第１クラス及び上記のようにヒストグラム均等化を実行することによって生成された第１チャネル５０３ａでラベリング５０２される。
【0061】
しかし、さらに第２画像チャネル５０３ｂ及び第３画像チャネル５０３ｃも生成される。第２画像チャネル５０３ｂは、各デジタル画像データ５０１の第１部分に対して適応ヒストグラム均等化を実行することによって生成される。第３画像チャネル５０３ｃは、各デジタル画像データ５０１の第１部分が第３画像チャネル５０３ｃとして割り当てられる。この３つのチャネルは、第１の態様に関連して上記で説明されたチャネルに対応する。
【0062】
図６を参照して、図５に示された実施形態と同様の、さらなる実施形態が説明される。上記の実施形態と同様に、トレーニングデータセット６００を生成する方法は、複数のデジタル画像及び各デジタル画像データ６０１を用意することを含み、それぞれのサイドウォールは、一つ以上のエンボス及び/又は刻印されたマーキングを有する。上記のように、デジタル画像データ６０１は、１つ以上の第１クラスでラベリング６０２ａされ、３つの画像チャネル６０３ａ、６０３ｂ、６０３ｃは、ヒストグラム均等化を実行して第１チャネル６０３ａを生成すること、適応ヒストグラム均等化を実行して第２チャネル６０３ｂを生成すること、及びデジタル画像データ６０１を第３画像チャネル６０３ｃとして割り当てることによって生成される。
【0063】
しかし、さらに、各デジタル画像データ６０１は、例えば、英数字０－９及びＡ－Ｚ、及び「/」記号及び/又は本発明の第１の態様に関連して上記で説明されたようにタイヤ製品情報を指定するために使用される他の記号といった追加のクラスに対応する、１つ以上の第２クラスでラベリング６０２ｂされる。次に、第４画像チャネル６０３ｄは、各デジタル画像データ６０１の第１部分に対してガウス演算の差分を実行することによって生成される。上記のように、デジタル画像データ６０１によって定義される画像は、効率を向上させるために、ＤｏＧを実行する前にアンカーに従ってトリミング及び/又はサイズ変更され得る。
【0064】
任意に、上記のように、曲げられたタイヤサイドウォールの画像を曲率が除去又は直線化された画像にマッピングすることによって、入力チャネルを生成するために使われるデジタル画像データから、デジタル画像データにおけるタイヤの曲率が除去されるように、デジタル画像データにおけるタイヤの曲率は、曲率が解消され得る。これは、任意の後続の処理を簡素化する。
【0065】
トレーニングデータの多くが実際の手作業でラベリング/注釈付けされた画像であることが好ましくはあるが、これは常に実用的又は可能であるとは限らない。任意に、そのような場合、複数のデジタル画像のうちの少なくとも１つ以上は合成的に生成され得る、すなわち、トレーニングに利用可能なデータの総量を増やすためにアルゴリズムを使って生成され得る。合成データが生成され得る方法の非限定的な例は、タイヤサイドウォールの実際の完全な歪みが解消された画像を撮影し、所望の第１及び/又は第２クラスに対応するテキスト、ロゴ、記号、及び/又は他のマーキングを実際の画像における空きスペースに埋め、それによってＣＮＮがトレーニングされる画像ごとの（合成）エンボス及び/又は刻印されたマーキングの数を増やすことである。この手法は追加のマーキングを埋めるための実際の画像上の空きスペースが限られているので、十分な柔軟性を提供できないが、本発明者らは、実際の、完全に手作業でラベリング/注釈付けされたトレーニング画像が十分に得られない場合に、驚くほど良い結果を生み出すことを発見した。任意に、一般化をさらに改善するためにトレーニングデータ画像のいくつかにわずかなアフィン変形が追加され得る。
【0066】
任意選択で、上記のように、トレーニングデータにおけるデジタル画像データの一部又はすべては、５０％から８０％の間でダウンサンプリングされ得る。例えば、トレーニングデータのデジタル画像が高解像度（約５００×４０００ピクセル）である場合、ランダムに選択された画像の一部は５０％から８０％でダウンサンプリングされて、トレーニングデータが完全な高解像度画像とダウンサンプリングされた画像の両方を含むようにすることが出来る。
【0067】
このようにトレーニングデータセットにダウンサンプリングされた画像を含むことの利点は、少なくともいくつかの同等に低い解像度の画像がトレーニングに貢献しているため、これらの画像でトレーニングされたＣＮＮが、低い解像度を有し、及び/又はテスト時にダウンサンプリングされた、見えなかった画像を一般化する堅牢性と能力を向上させることである。
【0068】
ダウンサンプリングは、摩耗した「ＤＯＴ」及び/又は「５/」アンカーなどのエンボス及び/又は刻印されたマーキングが非常に弱い又は弱い場合の検出をわずかに損なうが、本発明者らは、５０％までのダウンサンプリングが、一方ではアンカー及び大きなロゴなどのエンボス及び/又は刻印されたマーキングの検出と、他方では効率との間の良好なトレードオフを提供することを発見した。
【0069】
図３の実施形態に関連して上記に説明したように、第４チャネルにおいて、トレーニングデータ画像は、より小さな画像パッチ（例えば、上記で説明されたように予想される文字シーケンスの長さに基づいた１００ピクセルの高さ及び所定のピクセル数の幅）にトリミング及び/又はサイズ変更され、小さい画像パッチの処理は本質的により少ない計算能力を必要とするため、ダウンサンプリングは必要ない。
【0070】
第３の態様によれば、タイヤのサイドウォール上の１つ以上の、エンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類する分類器をトレーニングするための、コンピュータ実装方法が提供される。この方法は、本発明の第１の態様の実施形態において使われる分類器をトレーニングするために使われてもよく、本発明の第２の態様の方法によって生成されたトレーニングデータを使ってもよい。上記で説明された第１及び/又は第２の態様の実施形態の利点、技術的効果及び特徴は、対応する第３の態様の実施形態に適用し組み合わされてもよい。
【0071】
図７を参照すると、一実施形態では、この方法は、第１トレーニングデータ７０１において第１分類器７００をトレーニングすることを含み、第１トレーニングデータは、１つ以上のエンボス及び/又は刻印されたマーキングを有する各タイヤのサイドウォールの複数のデジタル画像及び各デジタル画像データ７０２を含む。各デジタル画像データは、例えば、ブランドロゴ、タイヤのタイプ及びモデル、ブランド記号、アンカー、又は上記の他のクラスなどの１つ以上の第１クラスでラベリングされる。それぞれのデジタル画像及び各デジタル画像データは、各タイヤサイドウォールの対応する第１部分に関連する各デジタル画像データ７０２の第１部分に対してヒストグラム均等化を実行することによって生成される各第１画像チャネル７０３を含む。第１分類器は、用意されたラベル７０４及び第１画像チャネル７０３を使ってトレーニング７００される。
【0072】
図８を参照して、図７に示される実施形態と同様のさらなる実施形態が説明される。上記の実施形態と同様に、この方法は、第１トレーニングデータ８０１において第１分類器８００をトレーニングすることを含み、第１トレーニングデータ８０１は、１つ以上のエンボス及び/又は刻印を有する各タイヤサイドウォールの複数のデジタル画像及び各デジタル画像データ８０２とを含む。各デジタル画像データ８０２は、上記のように１つ以上の第１クラスでラベリングされている。それぞれのデジタル画像及び各デジタル画像データ８０２は、各デジタル画像及びそれぞれのデジタル画像データ８０２は、各タイヤサイドウォールの対応する第１部分に関連する各デジタル画像データ８０２の第１部分に対してヒストグラム均等化を実行することによって生成される第１画像チャネル８０３ａを含む。
【0073】
しかしながら、さらに、本発明の第１及び第２の態様の対応する実施形態に関して上記で説明されたように、それぞれのデジタル画像及び各デジタル画像データは、第２画像チャネル８０３ｂ及び第３画像チャネル８０３ｃをさらに含む。第２画像チャネル８０３ｂを生成するために、各デジタル画像データ８０２の第１部分に対して適応ヒストグラム均等化を実行することによって第２画像チャネル８０３ｂが生成される。各デジタルイメージデータ８０２は第３画像チャネルとして割り当てられる。３つの画像チャネル（ヒストグラム均等化８０３ａ、適応ヒストグラム均等化８０３ｂ、及びデジタル画像データ８０３ｃ）を使用することの利点及び効果は、本発明の第１及び第２の態様に関連して上記で説明されている。第１分類器は、用意されたラベル８０４と第１、第２及び第３画像チャネル８０３ａ、８０３ｂ、８０３ｃを使用してトレーニング８００される。
【0074】
図９を参照して、図８に示される実施形態と同様のさらなる実施形態が説明される。上記の実施形態と同様に、この方法は、第１トレーニングデータ９０１において第１分類器９００をトレーニングすることを含み、第１トレーニングデータ９０１は、１つ以上のエンボス及び/又は刻印を有する各タイヤのサイドウォールの複数のデジタル画像及び各デジタル画像データ９０２を含む。各デジタル画像データ９０２は、上記のように一つ以上の第１クラスでラベリングされている。それぞれのデジタル画像及び各デジタル画像データ９０２は、上記に説明されたように第１、第２及び第３画像チャネル９０３ａ、９０３ｂ、９０３ｃを含む。
【0075】
しかしながら、さらに、本発明の第１及び第２の態様の対応する実施形態に関して上記で説明されたように、デジタル画像データ９０２の第１部分もまた、例えば、英数字０－９とＡ－Ｚ、及び「/」記号やタイヤ製品情報を指定するために使われるその他の記号などの追加クラスなどの１つ以上の第２クラスでラベリングされている。さらに、第４画像チャネル９０３ｄは、デジタル画像データ９０２の第１部分に対してガウス演算の差分を実行することによって生成される。これは、デジタル画像データ９０２の第１部分の全体又はその他の部分、例えば、「ＤＯＴ」又は「５/」文字シーケンスなどのアンカー（すなわち、所定の距離内のアンカー）に隣接する、及び/又は近隣のトリミングされた部分のみであり得る。本発明の第１及び第２の態様における対応する実施形態に関連して上記で説明されたように、ガウス演算の差分は遥かに小さい画像パッチに対してのみ実行される必要があり、トレーニングに必要な処理リソースを削減するため、これはより効率的である。第１分類器は、第１、第２、及び第３画像チャネルの９０３ａ、９０３ｂ、９０３ｃと共に第１クラスに対応する用意されたラベル９０５を使ってトレーニング９００され、第２分類器は、第４画像チャネル９０３ｄと共に第２クラスに対応する用意されたラベル９０６を使ってトレーニング９０４される。
【0076】
上記の実施形態のすべてに関連して、任意の適切なトレーニング技術、例えば、Ｒｅｎ，Ｓ．，Ｈｅ，Ｋ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，＆ Ｓｕｎ，Ｊ．（２０１５）．Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｃ．Ｃｏｒｔｅｓ，Ｎ．Ｄ．Ｌａｗｒｅｎｃｅ，Ｄ．Ｄ．Ｌｅｅ，Ｍ．Ｓｕｇｉｙａｍａ，＆ Ｒ．Ｇａｒｎｅｔｔ（Ｅｄｓ．），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８（ｐｐ．９１－９９）．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ，Ｉｎｃ．、及びそこに含まれる参考文献に記載されているものが使われてもよい。
【0077】
効率と金銭的コストが重要な要素であり、それゆえＣＰＵですべての方法ステップを実行することが望ましい、テスト時とは異なり、トレーニング時には代わりに任意でＧＰＵが使われてもよい。トレーニングデータが高解像度の画像を含む場合、８ＧＢ ＧＰＵ ＲＡＭ制限（ＧＴＸ－１０８０）内に留まるためには、通常１のバッチサイズが必要である。結果を改善するためにより大きなバッチサイズが使われてもよいが、高いＲＡＭ制限を有するより高価なＧＰＵを必要とする可能性がある。
【0078】
また、図１０の技術的アーキテクチャによって示されるように、本明細書で提供されるのは、上記の実施形態のいずれかの方法のステップを実行するための手段を含む例示的なデータ処理装置である。いくつかの実施形態において、全てのステップはＧＰＵより安価なＣＰＵ上で実行される。
【0079】
データ処理装置は、補助記憶装置１００１（ディスクドライブなど）、読み取り専用メモリ（ＲＯＭ）１００２、ランダムアクセスメモリ（ＲＡＭ）１００３を含むメモリデバイスと通信するプロセッサ１０００を含み得る。プロセッサ１０００は、ＧＰＵよりも安価な１つ以上のＣＰＵチップとして実装され得る。データ処理装置は、入力/出力（Ｉ/Ｏ）デバイス１００４、及びネットワーク接続デバイス１００５をさらに含み得る。
【0080】
補助記憶装置１００１は、通常、１つ以上のディスクドライブ又はテープドライブで構成され、データの不揮発性ストレージのために使用され、ＲＡＭ１００３がすべての作業データを保持するのに容量が足りない場合、オーバーフローデータストレージデバイスとして使用される。補助記憶装置１００１は、このようなプログラムが実行のために選択された時にＲＡＭ１００３にロードされるプログラムを記憶するために使われ得る。
【0081】
この実施形態では、補助記憶装置１００１は、本開示の方法の様々な動作を実行するプロセッサ１０００によって動作する非一時的な命令を含む命令処理要素１００１ａを有する。ＲＯＭ１００２は、プログラムの実行中に読み取られる命令を格納するために使用され、ことによるとデータを格納するために使われる。補助記憶装置１００１、ＲＡＭ１００３、及び/又はＲＯＭ１００２は、いくつかの文脈ではコンピュータ可読記憶媒体及び/又は非一時的なコンピュータ可読媒体と呼ばれ得る。
【0082】
Ｉ/Ｏデバイス１００４は、プリンタ、ビデオモニタ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーンディスプレイ、キーボード、キーパッド、スイッチ、ダイヤル、マウス、トラックボール、音声認識装置、カードリーダー、紙テープリーダー、又は他のよく知られた入力デバイスを含み得る。
【0083】
ネットワーク接続デバイス１００５は、モデム、モデムバンク、イーサネットカード、ユニバーサルシリアルバス（ＵＳＢ）インターフェイスカード、シリアルインターフェイス、トークンリングカード、ファイバー分散データインターフェイス（ＦＤＤＩ：fiber distributed data interface）カード、無線ローカルエリアネットワーク（ＷＬＡＮ：wireless local area network）カード、符号分割多元接続（ＣＤＭＡ：code division multiple access）などのプロトコルを使用して無線通信を促進する無線トランシーバカード、モバイル通信用グローバルシステム（ＧＳＭ：global system for mobile communications）、ＬＴＥ（long-term evolution）、ＷｉＭＡＸ（worldwide interoperability for microwave access）、近距離無線通信（ＮＦＣ：near field communications）、ＲＦＩＤ（radio frequency identity）、及び/又は他のエアインターフェイスプロトコル無線トランシーバーカード（air interface protocol radio transceiver cards）、及び他のよく知られたネットワークデバイスであり得る。これらのネットワーク接続デバイス１００５は、プロセッサ１０００がインターネット又は１つ以上のイントラネットと通信することを可能とすることが出来る。このようなネットワーク接続では、プロセッサ１０００は、ネットワークから情報を受信するか、又は上記の方法操作を実行する過程でネットワークに情報を出力することができると考えられる。プロセッサ１０００を使用して実行される一連の命令として表されることが多いこのような情報は、例えば、搬送波において具体化されたコンピュータデータ信号の形で、ネットワークから受信、及びネットワークに出力され得る。
【0084】
プロセッサ１０００は、ハードディスク、フロッピーディスク、光ディスク（これらの様々なディスクベースのシステムはすべて補助記憶装置１００１と解釈され得る）、フラッシュドライブ、ＲＯＭ１００２、ＲＡＭ１００３、又はネットワーク接続デバイス１００５からアクセスする、命令、コード、コンピュータプログラム、スクリプトを実行する。図には１つのプロセッサ１０００のみが示されているが、複数のプロセッサが存在し得る。従って、命令はプロセッサによって実行されるものとして説明され得るが、命令は、同時に、又は連続して、あるいは１つ以上のプロセッサによって、実行されてもよい。
【0085】
技術的アーキテクチャはコンピュータを参照して説明されているが、技術的アーキテクチャは、タスクを実行するために協調する、互いに通信している２つ以上のコンピュータによって形成され得ることを理解されたい。例えば、限定ではないが、アプリケーションは、アプリケーションの命令の同時及び/又は並列処理を可能にするような方法で分割され得る。あるいは、アプリケーションによって処理されるデータは、２つ以上のコンピュータによってデータセットの異なる部分の同時及び/又は並列処理を可能にするような方法で分割され得る。ある実施形態において、技術的アーキテクチャ内のコンピュータの数に直接縛られないいくつかのサーバーの機能を提供するために、仮想敵ソフトウェアが技術的アーキテクチャによって用いられてもよい。ある実施形態において、上記に開示された機能は、アプリケーション及び/又はクラウドコンピューティング環境におけるアプリケーションを実行することによって提供され得る。クラウドコンピューティングは、動的にスケーラブルなコンピューティングリソースを使ってネットワーク接続を介してコンピューティングサービスを提供することを含み得る。クラウドコンピューティング環境は、企業によって確立され、及び/又は、必要に応じて第三者プロバイダーから採用され得る。
【0086】
実行可能命令を技術アーキテクチャにプログラミング及び/又はロードすることによって、ＣＰＵ１０００、ＲＡＭ１００３、及びＲＯＭ１００２のうちの少なくとも１つが変更され、技術アーキテクチャを、本開示によって教示される新規の機能を有する特定の目的の機械又は装置に、部分的に変換することが理解される。実行可能なソフトウェアをコンピュータにロードすることによって実装されることができる機能が、よく知られた設計ルールによって、ハードウェア実装に変換されることができることは、電気工学及びソフトウェア工学の技術の基本である。
【0087】
また、本明細書において提供されるのは、プログラムがコンピュータによって実行されると、コンピュータに上記のいずれかの実施形態の方法のステップを実行させる命令を含む、コンピュータプログラム及びコンピュータプログラムを格納するためのコンピュータ可読記憶媒体である。
【0088】
本発明は、上記で明らかにされるような好ましい実施形態に関して説明されてきたが、これらの実施形態は例示にすぎず、特許請求の範囲はこれらの実施形態に限定されないことを理解されたい。当業者は、添付の特許請求の範囲内にあると考えられる本開示を考慮して、修正及び変更を行うことが出来るであろう。本明細書に開示又は図示されている各特徴は、単独であるか、本明細書に開示又は図示されている他の特徴との適切な組み合わせであるかに係らず、本発明に組み込まれてもよい。
【0089】
たとえば、ＥＡＳＴ（Efficient and Accurate Scene Text Detector）、ＣＴＰＮ（connectionist text proposal network）テキスト検出器その他といったいくつかのテキスト検出フレームワークに加えて、Ｆａｓｔ Ｒ－ＣＮＮ、Ｒ－ＣＮＮ、ＳＰＰＮｅｔ、ＳＳＤ、ＹＯＬＯ ｖ１/ｖ２/ｖ３などの、ＦａｓｔｅｒＲ－ＣＮＮ以外のＣＮＮが使われ得ることが想定されている。特に、上記の方法を実行するために、いくつかのエンドツーエンド検出器（同じタイプ又は異なるタイプのＣＮＮであり得る）をカスケードに配置して、それによりサイドウォールマーキングの検出と分類の問題を上記に説明されたような安価で効率的な方法で解決することが出来る。
【0090】
さらに、上記で説明されたＦａｓｔｅｒ Ｒ-ＣＮＮはＫ．Ｓｉｍｏｎｙａｎ，Ａ．Ｚｉｓｓｅｒｍａｎ，Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ａｒＸｉｖ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ， ２０１４．に説明されたようにＶＧＧ１６バックボーンを有する。また、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１００、ＩｎｃｅｐｔｉｏｎＮｅｔ、ＡｌｅｘＮｅｔなど他のバックボーンが使われてもよい。
【0091】
さらに、デジタル画像データが一つのタイヤのタイヤサイドウォールの複数の（任意に、歪みが解消された）画像を含む場合、タイヤのサイドウォール上の１つ以上のエンボス及び/又は刻印されたマーキングを１つ以上のクラスに分類するための上記の方法の精度がさらに高められることができる。複数の画像が利用出来る場合の例は、デジタル画像データが画像システムの視野を横切って移動するときにタイヤサイドウォールの複数の画像を撮影する画像システムによって取得された場合であり、結果として得られる複数の画像は、同じタイヤサイドウォール及びその上にエンボス及び/又は刻印されたマーキングのいくつかの異なる図を提供する。
【0092】
一般的に、単一の画像ではなく、同じエンボス及び/又は刻印されたマーキングの複数の画像に対してこの方法を実行することによって、複数の分類結果が得られる。複数の画像はすべて同じタイヤサイドウォールと、そのタイヤサイドウォール上の同じエンボス及び/又は刻印されたマーキングに関連しているため、各分類結果は同じであると予想される。従って、１つ以上の分類結果が他の結果と異なる場合、フォールスポジティブ又はネガティブの結果であると判断され得る。
【0093】
特に、デジタル画像データがタイヤサイドウォールの複数の画像のデジタル画像データを含む場合、第１画像チャネルを生成すること、第１特徴マップを生成すること、及び第１分類器を適用することのステップが各画像に対して実行され、それによりタイヤサイドウォールのエンボス及び/又は刻印されたマーキングに関連する複数の分類結果を得る。各分類結果は、エンボス及び/又は刻印されたマーキングが、どの１つ以上の第１クラスに分類されたのかを、当該１つ以上の識別された第１クラスのそれぞれに対応するそれぞれの複数の信頼水準と合わせて識別する。
【0094】
それぞれの信頼水準は０から１の間の値で、１は結果がトゥルーポジティブであるという１００％の信頼度であり、０は結果がトゥルーポジティブであるという０％の信頼度である。
【0095】
各分類結果における当該１つ以上の第１クラスのそれぞれについて、対応する信頼水準は変更されてもよく、例えば、スカラー定数で乗算することで増加させることが出来る。特に、信頼水準が所定の第１閾値を超える（例えば、０．９５より大きい）場合、それを増加させるために定数（例えば、３、４、５、又は他の任意のスカラー）で乗算される。信頼水準が第１閾値以下の場合、このような乗算は実行されない。乗算は、そうでないクラスと比較して、すでに高い信頼水準を持っている識別されたクラスの信頼水準を高める効果がある。これは、信頼水準が低く、そのためフォールスポジティブ又はネガティブの可能性が高い識別されたクラスから、信頼水準の高いクラスを目立たせることに役立つ。
【0096】
該当する場合に乗算が実行された後、タイヤサイドウォールの複数の画像における識別された各クラスの信頼スコアを提供するために、識別された各クラスの信頼レベルが累積される（たとえば、合計することによって）。
【0097】
従って、クラスが複数の画像全てにおいて第１閾値を超える信頼水準で現れる場合、それぞれの画像からの関連する信頼水準は毎回定数で乗算され、従ってトゥルーポジティブを示す高められた信頼スコアの結果になる。
【0098】
対照的に、クラスが第１閾値を下回る信頼水準の画像の１つ又は少数のみにおいて現れる、又は信頼水準の高い画像の１つのみにおいて現れ、残りは信頼水準が低い場合、結果として得られる累積信頼スコアは他の信頼スコアに比べて低くなり、従ってフォールスポジティブ又はトゥルーネガティブを示す。
【0099】
最終ステップでは、各信頼スコアが所定の第２閾値を下回っている場合、対応する１つ以上の識別された第１クラスがフォールスポジティブであると決定され得る。フォールスポジティブは任意に破棄されてもよく、残りのクラスはトゥルーポジティブとして保持された。保持されたトゥルーポジティブはさらに、例えば、タイヤのブランドを識別するために使われ得る。
【0100】
本発明者らは、デジタル画像データが同じタイヤのサイドウォールの複数の画像を含む場合、上記の方法が、本明細書に記載の方法の精度を高めるための迅速かつ計算的に安価な方法を提供することを発見した。次に、上記の技術の実装例について説明する。ラベルのセット（例えば、クラス）は、次の、又は他の構造を持つリストに設定し得る：
【0101】
それぞれのタイヤのブランドはそれに関連するいくつかのタイヤモデルと記号を有する（例えば、「ＢＲＡＮＤ１」は、関連するタイヤモデル「Ｗｉｎｔｅｒ」、「Ｓｕｍｍｅｒ」、「１３３７Ｇｒｉｐ」、及び記号「Ｂｒａｎｄ１＿ｓｙｍｂｏｌ」を有する）。また、「ＯＵＴＳＩＤＥ」や「ＲＯＴＡＴＩＯＮ」など、どのブランドとも固有に関連しない非ブランド名が存在し得る。これらは共通タグとしてラベリングされており、第１分類器フレームワークの第１クラスに属しており、タイヤタイプの特定の一般的なグループ、或いは内側又は外側、及び回転方向を識別するのに役立つことも出来るが、共通タグの存在は必ずしもタイヤブランドの区別に役立つわけではない。これらのタイプのマーキングを共通タグとしてラベリングすることは、共通タグがテスト時に検出された場合、任意に破棄されてもよいことを意味する。「ＤＯＴ」及び「５/」などのアンカークラスもリストに含まれている。所与のエンボス及び/又は刻印されたマーキングに複数の異なる外観がある場合（例えば、ブランドのロゴ又はテキストが時間の経過とともに変更され、異なるバージョンが存在する可能性がある場合）、そのエンボス及び/又は刻印されたマーキングの複数のクラスがリストに追加されてもよい。特定の他のタイプのエンボス及び/又は刻印マーキングも、所与のタイヤブランドに固有の固有タグが付けられている。例えば、タイヤのサイドウォール上に、タイヤを屋内又は屋外に保管する方法を示す固有の図がある場合がある。そのような図の独自性を考えると、これらはタイヤのブランドを区別するのに特に役立つ可能性がある。
【0102】
従って、上記のリストは、第１分類器がエンボス及び/又は刻印されたマーキングを分類できるすべてのクラスを示している。リストの構造は、クラスが相互に、及び/又は関連するブランドとどのように関連しているか、特に、記号、タイヤモデル、及び固有タグがそのブランドにどのように関連しているかを示す。
【0103】
テスト時に、リスト構造は初期化され、且つ第１分類器がタイヤサイドウォールの複数の画像に適用される。クラスの検出ごとに、検出されたクラスに対するリストが検索され、その検出に関連する信頼水準がクラスの累積スコアに追加される。上記のように信頼水準が高い場合（例えば、０．９５を超える）、累積信頼スコアに追加される前に定数が乗算される。これによりリスト内で検出されたそれぞれのクラスの累積信頼スコアが生成される。
【0104】
それぞれの複数の画像において同じマーキングが検出されているため、同じクラスが複数検出されることが予想される、つまり、同じマーキングが何度も検出されるシステムには検出の冗長性が組み込まれている。従って、複数回検出されたクラスに関連する累積信頼スコアも高くなり、これら複数の検出はトゥルーポジティブであるというコンセンサスが形成される。対照的に、フォールスポジティブが複数回検出される可能性は非常に低いため、それらの累積信頼スコアは低くなり合意は形成されないだろう。
【0105】
複数の画像全てがこのように処理されると、累積された信頼スコアはどのクラスが正しく検出されたかを示す。リスト構造は検出されたクラスが所与のタイヤブランドに関連するか否かも示すため、所与のブランドに関連するすべての検出されたクラスの信頼スコアが集計され得る。撮像されたタイヤのブランドを決定するために、集計スコアが最も高いブランドが使われてもよい。
【0106】
さらに、タイヤブランドが決定されると、最高スコアを持つタイヤモデルを示すクラスに関連する信頼スコアを検索することによって、タイヤモデル名が決定され得る。これは通常、ブランド記号の検出、及び固有のタイヤモデルを示さない一般的なタグを除外する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
