特許 7427307 タイヤのシリアル番号を認識するための端末、システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】タイヤのシリアル番号を認識するための端末、システム、方法およびプログラム

(51)【国際特許分類】

   G06V 30/146 20220101AFI20240129BHJP

   B60C 19/00 20060101ALI20240129BHJP

   B60C 13/00 20060101ALI20240129BHJP

【ＦＩ】

G06V30/146

B60C19/00 H

B60C13/00 A

【請求項の数】 8

(21)【出願番号】P 2023198773

(22)【出願日】2023-11-24

【審査請求日】2023-11-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】523442932

【氏名又は名称】あやたかシステム開発株式会社

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】金子 愼太郎

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０２３－１０４４２４（ＪＰ，Ａ）

【文献】特開２０２１－１２８６９６（ＪＰ，Ａ）

【文献】特開２０１８－０８８１１６（ＪＰ，Ａ）

【文献】特開平１０－１１５５０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１４６

Ｂ６０Ｃ １３／００，１９／００

(57)【特許請求の範囲】

【請求項1】

タイヤのシリアル番号を認識するための端末であって、
前記タイヤに表示された前記シリアル番号の全体像を含む画像を取得する第１取得部と、
取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知する第１検知部と、
前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正する補正部と、
補正した前記シリアル番号の全体像内の各文字を検知する第２検知部と、
検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定する第１判定部と、
前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転する反転部と、
前記２つのネジ跡の間にある文字領域を検出して文字認識する認識部と、
を備える端末。

【請求項2】

前記第１判定部は、検知した前記各文字の画像と、前記２つのネジ跡を結ぶ線とに基づいて、前記シリアル番号の全体像は反転画像であると判定する請求項１に記載の端末。

【請求項3】

正位置の前記シリアル番号の全体像と、角度のある前記シリアル番号の全体像と、前記２つのネジ跡と、前記各文字の画像とを学習して、学習済みモデルを作成する学習部をさらに備える請求項１に記載の端末。

【請求項4】

前記学習部は、前記各文字の反転画像について、タグ付けして学習する請求項３に記載の端末。

【請求項5】

タイヤ全体の画像を取得する第２取得部と、
前記学習済みモデルに基づいて、取得した前記画像において、前記タイヤの前記シリアル番号の全体像を推測し、当該全体像において、２つのネジ跡を推測する第１推測部と、
前記学習済みモデルに基づいて、前記シリアル番号の全体像内の各文字の画像を推測する第２推測部と、
前記学習済みモデルに基づいて、推測した前記各文字の画像において、反転文字が存在する場合は、前記シリアル番号の全体像は反転画像であると判定する第２判定部と、
をさらに備える請求項４に記載の端末。

【請求項6】

タイヤのシリアル番号を認識するためのシステムであって、
前記タイヤに表示された前記シリアル番号の全体像を含む画像を取得する第１取得部と、
取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知する第１検知部と、
前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正する補正部と、
補正した前記シリアル番号の全体像内の各文字を検知する第２検知部と、
検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定する第１判定部と、
前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転する反転部と、
前記２つのネジ跡の間にある文字領域を検出して文字認識する認識部と、
を備えるシステム。

【請求項7】

タイヤのシリアル番号を認識するためのシステムが実行する方法であって、
前記タイヤに表示された前記シリアル番号の全体像を含む画像を取得するステップと、
取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知するステップと、
前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正するステップと、
補正した前記シリアル番号の全体像内の各文字を検知するステップと、
検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定するステップと、
前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転するステップと、
前記２つのネジ跡の間にある文字領域を検出して文字認識するステップと、
を備える方法。

【請求項8】

コンピュータに、
タイヤに表示されたシリアル番号の全体像を含む画像を取得するステップ、
取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知するステップ、
前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正するステップ、
補正した前記シリアル番号の全体像内の各文字を検知するステップ、
検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定するステップ、
前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転するステップ、
前記２つのネジ跡の間にある文字領域を検出して文字認識するステップ、
を実行させるコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タイヤのシリアル番号を認識するための端末、システム、方法およびプログラムに関する。

【背景技術】

【0002】

一般に製造される車両のタイヤの側面には通常、タイヤセリアルナンバーと呼ばれる一意のシリアル番号が付けられている。タイヤのシリアル番号は、文字と数字の組み合わせで表され、タイヤメーカーや製造日などの情報を含み、タイヤの製造品質や寿命を調べる際に有用となる。

【0003】

このため、タイヤの製造情報の追跡、タイヤの特定、品質管理及び安全性、耐久性及び寿命の追跡を行う際に、タイヤのシリアル番号の文字及び数字を正確に読み取って記録することが重要となり、実際、タイヤのシリアル番号などの情報を取得して記憶するシステムによって、車両に装着するタイヤを管理することが行われている（特許文献１）。

【0004】

ところで、特許文献１のシステムでは、タイヤのシリアル番号を取得して記憶させる場合、ユーザーが、タイヤのシリアル番号を直接見て端末等に手入力するか、手書きで書き写したものをまとめて端末に手入力する手間がかかる。このため、広く普及している文字認識システムによってタイヤのシリアル番号の画像から文字を認識することが試みられているが、セリアルナンバー周囲の型枠やネジの跡によって、文字認識の精度が落ちてしまう。

【0005】

近年、３Ｄカメラで撮像したタイヤのシリアル番号の３Ｄ画像から文字認識する技術があり、この技術を用いれば、特許文献１のようなシステムにタイヤのシリアル番号を登録するのに、ユーザーによる手入力は必要としない。(非特許文献１)。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－１０４４７３公報

【非特許文献】

【0007】

【文献】テクニカルシステム株式会社，“タイヤの刻印文字認識検査システム”，［ｏｎｌｉｎｅ］，令和元年１１月１日，株式会社イプロス，［令和５年１０月２日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｉｐｒｏｓ．ｊｐ／ｐｒｏｄｕｃｔ／ｄｅｔａｉｌ／２０００２６１１６７／＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１の技術では、タイヤのセリアルナンバーを認識する際に、タイヤを車両から取り外す必要があり、簡単な手順では認識できない。また、タイヤのセリアルナンバーを３Ｄ画像で撮像する必要があるため、２Ｄ画像に比べて、特殊な装置が必要となるため扱いにくく、データサイズも大きくなる。

【0009】

そこで、本発明者らは、端末やカメラを用いてタイヤのシリアル番号を撮像した画像から文字認識することによって、タイヤのシリアル番号を認識する際に、タイヤを車両から取り外したり、保管場所から持ち運ぶ必要がなく、さらには２Ｄ画像であっても正確な文字認識が可能となることに着目した。

【0010】

本発明は、これらの課題に鑑み、タイヤを車両から取り外したり、保管場所から持ち運ぶことなく、画像からタイヤのシリアル番号を文字認識によって読み取ることが可能なタイヤのシリアル番号を認識するための端末、システム、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明では、以下のような解決手段を提供する。

【0012】

本発明の第１の特徴によれば、タイヤのシリアル番号を認識するための端末であって、
前記タイヤに表示された前記シリアル番号の全体像を含む画像を取得する第１取得部と、
取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知する第１検知部と、
前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正する補正部と、
補正した前記シリアル番号の全体像内の各文字を検知する第２検知部と、
検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定する第１判定部と、
前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転する反転部と、
前記２つのネジ跡の間にある文字領域を検出して文字認識する認識部と、
を備える端末を提供する。

【0013】

本発明の第１の特徴によれば、不定置の端末やカメラを用いてタイヤのシリアル番号を撮像した画像から文字認識ができることから、タイヤのシリアル番号を認識する際に、タイヤを車両から取り外したり、保管場所から持ち運ぶ必要がなく、さらには２Ｄ画像であっても正確な文字認識が可能となる。

【0014】

本発明の第２の特徴は、第１の特徴に係る発明であって、
前記第１判定部は、検知した前記各文字の画像と、前記２つのネジ跡を結ぶ線とに基づいて、前記シリアル番号の全体像は反転画像であると判定する端末を提供する。

【0015】

本発明の第２の特徴によれば、０、８、Ｓなど反転かどうか判断できない文字のみで構成されている場合でも、シリアル番号の全体像が反転していると判断することが可能となる。

【0016】

本発明の第３の特徴は、第１の特徴に係る発明であって、
正位置の前記シリアル番号の全体像と、角度のある前記シリアル番号の全体像と、前記２つのネジ跡と、前記各文字の画像とを学習して、学習済みモデルを作成する学習部をさらに備える端末を提供する。

【0017】

本発明の第３の特徴によれば、正位置のシリアル番号の全体像と、角度のあるシリアル番号の全体像と、ネジ跡と、各文字の画像とを学習して学習済みモデルを作成することにより、タイヤに付けられたシリアル番号の自動認識精度を高めることが可能となる。

【0018】

本発明の第４の特徴は、第３の特徴に係る発明であって、
前記学習部は、前記各文字の反転画像について、タグ付けして学習する端末を提供する。

【0019】

本発明の第３の特徴によれば、検知したシリアル番号の全体像が上下反転していた場合に、検知した各文字の画像が反転していることを学習することにより、タイヤに付けられるシリアル番号の認識精度をさらに高めることが可能となる。

【0020】

本発明の第５の特徴は、第４の特徴に係る発明であって、
タイヤ全体の画像を取得する第２取得部と、
前記学習済みモデルに基づいて、取得した前記画像において、前記タイヤのシリアル番号の全体像を推測し、当該全体像において、２つのネジ跡を推測する第１推測部と、
前記学習済みモデルに基づいて、前記シリアル番号の全体像内の各文字の画像を推測する第２推測部と、
前記学習済みモデルに基づいて、推測した前記各文字の画像において、反転文字が存在する場合は、前記シリアル番号の全体像は反転画像であると判定する第２判定部と、
をさらに備える端末を提供する。

【0021】

本発明の第５の特徴によれば、定置したカメラ等によって遠目でタイヤ全体を撮像した場合でも、学習データによって、撮像した画像から文字認識ができることから、タイヤのシリアル番号を認識する際に、タイヤを車両から取り外したり、保管場所から持ち運ぶ必要がなく、さらには２Ｄ画像であっても、さらに正確な文字認識が可能となる。

【0022】

本発明は、端末のカテゴリであるが、システム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0023】

本発明によれば、タイヤを車両から取り外したり、保管場所から持ち運ぶことなく、画像からタイヤのシリアル番号を文字認識によって読み取ることが可能なタイヤのシリアル番号を認識するための端末、システム、方法およびプログラムを提供することが可能となる。

【図面の簡単な説明】

【0024】

【図1】本発明の第１実施形態であるタイヤのシリアル番号を認識するための端末１の概要を説明するための図である。

【図2】本実施形態のタイヤのシリアル番号を認識するための端末１の構成図である。

【図3】本実施形態のタイヤのシリアル番号を認識するための端末１が実行する処理のフローチャートである。

【図4】本実施形態のタイヤのシリアル番号を認識するための端末１が実行するシリアル番号全体像及びネジ跡を検知する処理を説明するための図である。

【図5】本実施形態のタイヤのシリアル番号を認識するための端末１が実行する傾き補正処理を説明するための図である。

【図6】本実施形態のタイヤのシリアル番号を認識するための端末１が実行する文字画像検知処理を説明するための図である。

【図7】本実施形態のタイヤのシリアル番号を認識するための端末１が実行するネジ跡を結ぶ線による反転判定処理を説明するための図である。

【図8】本実施形態のタイヤのシリアル番号を認識するための端末１が実行するシリアル番号反転処理を説明するための図である。

【図9】本実施形態のタイヤのシリアル番号を認識するための端末１が実行する文字認識処理を説明するための図である。

【図10】本発明の第２実施形態であるタイヤのシリアル番号を認識するための端末１の概要を説明するための図である。

【図11】本実施形態のタイヤのシリアル番号を認識するための端末１の構成図である。

【図12】本実施形態のタイヤのシリアル番号を認識するための端末１が実行する処理のフローチャートである。

【図13】本発明の第２実施形態であるタイヤのシリアル番号を認識するための端末１が実行する学習処理を説明するための図である。

【図14】本発明の第１実施形態の別の態様を説明するための図である。

【図15】本実施形態の別の態様の構成図である。

【図16】本発明の第２実施形態の別の態様を説明するための図である。

【図17】本実施形態の別の態様の構成図である。

【発明を実施するための形態】

【0025】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0026】

［第１実施形態］
［タイヤのシリアル番号を認識するための端末１の概要］
本発明の第１実施形態であるタイヤのシリアル番号を認識するための端末１の概要について、図１に基づいて説明する。図１は、本発明の第１実施形態であるタイヤのシリアル番号を認識するための端末１の概要を説明するための図である。

【0027】

タイヤのシリアル番号を認識するための端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0028】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0029】

次に、タイヤのシリアル番号を認識するための端末１が実行する処理の概要について説明する。
まず、端末１は、タイヤに表示されたシリアル番号の全体像を含む画像１００を取得する（ステップＳ１１）。具体的には、端末１は、ユーザーが端末１を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する。

【0030】

次に、端末１は、取得した画像１００において、シリアル番号の全体像１１０を検知し、当該全体像１１０において、２つのネジ跡１２０を検知する（ステップＳ１２）。具体的には、端末１は、取得した画像１００に写っているタイヤのシリアル番号の全体像１１０を検知して抽出し、抽出した画像に含まれる２つのネジ跡１２０を検知する。シリアル番号の全体像１１０の検知方法と抽出方法については、特に限定しない。また、２つのネジ跡１２０の検知方法については、特に限定しない。

【0031】

ステップＳ１２において、端末１は、検知したシリアル番号の全体像１１０特有の特徴量と、検知した２つのネジ跡１２０特有の特徴量とを、機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１２以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0032】

次に、端末１は、検知した２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ１３）。具体的には、端末１は、２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０から、検知したシリアル番号の全体像１１０の傾きを求め、２つのネジ跡１２０が水平となるようにシリアル番号の全体像１１０を補正する。

【0033】

次に、端末１は、補正したシリアル番号の全体像１１０内の各文字１３０を検知する（ステップＳ１４）。具体的には、端末１は、補正したシリアル番号の領域内１１０内の各文字１３０の画像を、１字ずつ検知して抽出する。各画像１００の検知及び抽出方法については、特に限定しない。

【0034】

ステップＳ１４において、端末１は、検出した各文字１３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１４以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0035】

次に、端末１は、検知した各文字１３０に基づいて、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ１５）。具体的には、端末１は、検知した各文字１３０の画像において、それぞれ文字認識を行い、１字でも文字として認識されない場合は、シリアル番号の全体像１１０が反転していると判定する。さらに、端末１は、検知した各文字１３０の画像において、中央の文字の座標が２つのネジ跡を結ぶ線より下方向にある場合は、シリアル番号の全体像１１０は反転画像であると判定してもよい。また、端末１は、検知した各文字１３０を表示し、表示された各文字のうち１字でも反転している場合は、ユーザーからの入力を受け付けることにより、シリアル番号の全体像１１０が反転していると判定してもよい。

【0036】

ステップＳ１５において、端末１は、シリアル番号の全体像１１０が反転画像であると判定した場合は、ステップＳ１４で再学習した各文字１３０の画像特有の特徴量に対して反転文字としてタグ付けして機械学習による再学習を行い、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１５以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0037】

次に、端末１は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ１６）。シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を１８０°回転して、正位置のシリアル番号の全体像１１１を得る。正位置とは、シリアル番号の全体像１１１が正位置であり、シリアル番号の文字が反転していない位置にあることを言う。

【0038】

ステップＳ１６の後において、端末１は、正位置のシリアル番号の全体像１１０特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１６以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0039】

次に、端末１は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ１７）。具体的には、端末１は、２つのネジ跡１２０の間にある文字領域１４０を検出し、検出した文字領域１４０における各文字を文字データとして認識する。尚、端末１は、認識した文字データを、自身の表示部に出力してもよい。文字データの認識方法については、特に限定されない。

【0040】

以上が、タイヤのシリアル番号を認識するための端末１が実行する処理の概要である。

【0041】

［タイヤのシリアル番号を認識するための端末１のシステム構成］
図２に基づいて、本実施形態のタイヤのシリアル番号を認識するための端末１のシステム構成について説明する。

【0042】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよい。

【0043】

端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0044】

端末１は、制御部および処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0045】

撮像部は、動画および／または静止画等の画像を撮影するためのデバイスを備える。カラー画像が撮影できれば、特に限定されない。

【0046】

端末１は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0047】

端末１は、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0048】

端末１は、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0049】

端末１は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0050】

制御部は、処理部と協働して取得部１０、第１検知部１１、補正部１２，第２検知部１３、第１判定部１４、反転部１５、認識部１６、学習部１７を実現する。

【0051】

以上が、タイヤのシリアル番号を認識するための端末１のシステム構成である。

【0052】

［タイヤのシリアル番号認識処理］
図３に基づいて、タイヤのシリアル番号を認識するための端末１が実行するタイヤのシリアル番号認識処理について説明する。図３は、タイヤのシリアル番号を認識するための端末１が実行するタイヤのシリアル番号認識処理のフローチャートを示す図である。タイヤのシリアル番号認識処理は、図３に示すように、ステップＳ３１～Ｓ３７で構成され、上述のステップＳ１１～Ｓ１７に対応する。

【0053】

まず、端末１の取得部１０は、タイヤに表示されたシリアル番号の全体像１１０を含む画像１００を取得する（ステップＳ３１）。具体的には、取得部１０は、ユーザーが端末１を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する。画像は、カラー画像であれば、動画でも静止画でもよい。

【0054】

次に、端末１の第１検知部１１は、取得した画像１００において、シリアル番号の全体像１１０を検知し、当該全体像１１０において、２つのネジ跡１２０を検知する（ステップＳ３２）。具体的には、端末１は、取得した画像１００に写ったタイヤのシリアル番号の全体像１１０を検知して抽出し、抽出した画像において、特定の形状のネジ跡１２０を２つ検知する。シリアル番号の全体像１１０の検知方法と抽出方法については、特に限定しない。

【0055】

図４に示すように、タイヤのシリアル番号は、２つネジ跡１２０の間に表示される。本明細書では、２つネジ跡１２０の形状は、丸ボッチとなっているが、他のいかなる形状でもよい。２つのネジ跡１２０の検知方法については、特に限定しない。

【0056】

ステップＳ３２において、端末１の学習部１７は、検知したシリアル番号の全体像１１０特有の特徴量と、検知した２つのネジ跡１２０特有の特徴量とを、機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３２以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0057】

次に、端末１の補正部１２は、２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ３３）。具体的には、図５に示すように、補正部１２は、ステップＳ３２で抽出した２つのネジ跡１２０のうち下部のネジ跡１２０を原点とした上部のネジ跡の角度を求め、時計回りまたは反時計回り方向に、シリアル番号の全体像１１０を求めた角度分回転させて、２つのネジ跡１２０が水平となるように、シリアル番号の全体像１１０を補正する。その結果、２つのネジ跡１２０が水平位置にあるシリアル番号の全体像１１０が得られる。

【0058】

次に、端末１の第２検知部１３は、補正したシリアル番号の全体像１１０内の各文字１３０を検知する（ステップＳ３４）。具体的には、図６に示すように、補正したシリアル番号の全体像１１０に含まれる文字を１字ずつ検知し、各文字１３０が全体に及ぶように矩形状に囲んで抽出、つまり各文字１３０を含む矩形状の画像を抽出する。文字の検知および抽出方法については、特に限定しない。本実施形態では、各文字を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0059】

ステップＳ３４において、端末１の学習部１７は、検出した各文字１３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３４以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0060】

次に、端末１の第１判定部１４は、検知した各文字１３０に基づいて、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ３５）。具体的には、第１判定部１４は、ステップＳ１４で抽出した各文字１３０の画像において、それぞれ文字認識を行い、文字として認識されない文字の画像が存在する場合は、シリアル番号の全体像１１０が反転していると判定する。さらに、第１判定部１４は、検知した各文字１３０の画像において、中央の文字の座標が２つのネジ跡を結ぶ線より下方向にある場合は、シリアル番号の全体像１１０は反転画像であると判定してもよい。また、端末１の表示部によって、検知した各文字１３０を表示し、表示された各文字のうち１字でも反転している場合は、端末１の入力部がユーザーからの入力を受け付けることにより、第１判定部１４がシリアル番号の全体像１１０が反転していると判定してもよい。

【0061】

ステップＳ３５において、端末１の学習部１７は、シリアル番号の全体像１１０が反転画像であると判定した場合は、ステップＳ３４で再学習した各文字１３０の画像特有の特徴量に対して反転文字としてタグ付けして機械学習による再学習を行い、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３５以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0062】

次に、端末１の反転部１５は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ３６）。具体的には、図８に示すように、シリアル番号の全体像１１０が反転していると判定された場合、反転部１５は、シリアル番号の全体像１１０の中心を原点に、時計回りまたは反時計回り方向に１８０°回転して、シリアル番号の全体像１１０を正位置に補正する。その結果、シリアル番号の各文字が正しい方向となる、水平方向正位置のシリアル番号の全体像１１１が水平方向正位置で得られる。

【0063】

ステップＳ３６の後において、端末１の学習部１７は、正位置のシリアル番号の全体像１１０特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３６以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0064】

次に、端末の認識部１６は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ３７）。具体的には、図９に示すように、認識部１６は、２つのネジ跡１２０の間にある文字領域１４０を検出し、検出した文字領域１４０における各文字を文字データとして認識する。尚、端末１の出力部は、認識した文字データを、自身の表示部に出力してもよい。文字データの認識方法については、特に限定されない。

【0065】

以上が、タイヤのシリアル番号認識処理である。

【0066】

タイヤのシリアル番号を認識するための端末１によれば、端末１を用いてタイヤのシリアル番号を撮像した画像から文字認識ができることから、タイヤのシリアル番号を認識する際に、タイヤを車両から取り外したり、保管場所から持ち運ぶ必要がなく、さらには２Ｄ画像であっても正確な文字認識が可能となる。

【0067】

また、タイヤのシリアル番号を認識するための端末１によれば、０、８、Ｓなど反転かどうか判断できない文字のみで構成されている場合でも、シリアル番号の全体像が反転していると判断することが可能となる。

【0068】

［第２実施形態］
［タイヤのシリアル番号を認識するための端末１の概要］
本発明の第２実施形態であるタイヤのシリアル番号を認識するための端末１の概要について、図１０に基づいて説明する。図１０は、本発明の一実施形態であるタイヤのシリアル番号を認識するための端末１の概要を説明するための図である。なお、第１実施形態と同一の機能および構成については同一の符号を付し、説明を省略する。本実施形態が第１実施形態と異なるのは、学習済みデータを用いたタイヤのシリアル番号を認識するための端末１である点である。

【0069】

［タイヤのシリアル番号を認識するための端末１の概要］
本発明の第２実施形態であるタイヤのシリアル番号を認識するための端末１の概要について、図１０に基づいて説明する。図１０は、本発明の第２実施形態であるタイヤのシリアル番号を認識するための端末１の概要を説明するための図である。

【0070】

タイヤのシリアル番号を認識するための端末１は、第１実施形態同様、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0071】

端末１は、第１実施形態同様、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0072】

次に、タイヤのシリアル番号を認識するための端末１が実行する処理の概要について説明する。
まず、端末１は、タイヤ全体の画像２００を取得する（ステップＳ２１）。具体的には、端末１は、ユーザーが端末１を用いて撮影したタイヤ全体の画像２００を取得する。本ステップは、第１実施形態のステップＳ１１と同様のステップである。

【0073】

次に、端末１は、学習済みモデル３００に基づいて、取得した画像２００において、タイヤのシリアル番号の全体像１１０を推測し、当該全体像１１０において、２つのネジ跡１２０を推測する（ステップＳ２２）。具体的には、端末１は、予め機械学習して作成した学習済みモデル３００に基づいて、取得した画像２００に写っているタイヤのシリアル番号の全体像１１０を推測して抽出し、抽出した画像に含まれる２つのネジ跡１２０を推測する。機械学習の種類や方法については、特に問わない。シリアル番号の全体像１１０の推測方法と抽出方法については、特に限定しない。また、２つのネジ跡１２０の推測方法については、特に限定しない。

【0074】

ステップＳ２２において、端末１は、推測したシリアル番号の全体像１１０特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２２以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0075】

次に、端末１は、２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ２３）。本ステップは、２つのネジ跡１２０が推測された点について以外は、第１実施形態のステップＳ１３と同様のステップである。

【0076】

次に、端末１は、学習済みモデル３００に基づいて、補正したシリアル番号の全体像１１０内の各文字１３０の画像を推測する（ステップＳ２４）。具体的には、端末１は、学習済みモデル３００に基づいて、補正したシリアル番号の全体像１１０内の各文字１３０の画像を、１字ずつ推測して抽出する。各文字１３０の画像の検知及び抽出方法については、特に限定しない。

【0077】

ステップＳ２４において、端末１は、推測した各文字１３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２４以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0078】

次に、端末１は、学習済みモデル３００に基づいて、推測した前記各文字の画像において、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ２５）。具体的には、端末１は、学習済みモデル３００に基づいて、反転文字としてタグ付けされている学習済みの各文字１３０の画像に基づいた場合は、シリアル番号の全体像１１０が反転していると判定する。

【0079】

ステップＳ２５において、端末１は、シリアル番号の全体像１１０が反転画像であると判定した場合は、ステップＳ２４で再学習した各文字１３０の画像特有の特徴量に対して反転文字としてタグ付けして機械学習による再学習を行い、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２５以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0080】

次に、端末１は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ２６）。本ステップは、第１実施形態のステップＳ１６と同様のステップである。

【0081】

ステップＳ２６の後において、端末１は、水平方向正位置のシリアル番号の全体像１１１特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２６以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0082】

次に、端末１は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ２７）。本ステップは、第１実施形態のステップＳ１７と同様のステップである。

【0083】

以上が、タイヤのシリアル番号を認識するための端末１が実行する処理の概要である。

【0084】

［タイヤのシリアル番号を認識するための端末１のシステム構成］
図１１に基づいて、本実施形態のタイヤのシリアル番号を認識するための端末１のシステム構成について説明する。

【0085】

端末１は、第１実施形態同様、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよい。

【0086】

端末１は、第１実施形態同様、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0087】

端末１は、第１実施形態同様、制御部および処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0088】

撮像部は、第１実施形態同様、動画および／または静止画等の画像を撮影するためのデバイスを備える。カラー画像が撮影できれば、特に限定されない。

【0089】

端末１は、第１実施形態同様、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0090】

端末１は、第１実施形態同様、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0091】

端末１は、第１実施形態同様、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0092】

端末１は、第１実施形態同様、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0093】

制御部は、処理部と協働して取得部１０、第３取得部２１、第１推測部２２、補正部１２，第２推測部２３、第２判定部２４、反転部１５、認識部１６、学習部１７を実現する。

【0094】

以上が、タイヤのシリアル番号を認識するための端末１のシステム構成である。

【0095】

［タイヤのシリアル番号認識処理］
図１２に基づいて、タイヤのシリアル番号を認識するための端末１が実行するタイヤのシリアル番号認識処理について説明する。図１２は、タイヤのシリアル番号を認識するための端末１が実行するタイヤのシリアル番号認識処理のフローチャートを示す図である。タイヤのシリアル番号認識処理は、図１２に示すように、ステップＳ４１～Ｓ４７で構成され、上述のステップＳ２１～Ｓ２７に対応する。

【0096】

まず、端末１の取得部１０は、タイヤ全体の画像２００を取得する（ステップＳ４１）。具体的には、第１取得部２０は、ユーザーが端末１を用いて撮影したタイヤ全体が写った画像２００を取得する。画像は、カラー画像であれば、動画でも静止画でもよい。本ステップは、第１実施形態のステップＳ３１と同様のステップである。

【0097】

次に、端末１の第１推測部２２は、学習済みモデル３００に基づいて、取得した画像２００において、タイヤのシリアル番号の全体像１１０を推測し、当該全体像１１０において、２つのネジ跡１２０を推測する（ステップＳ４２）。具体的には、第１推測部２２は、角度のあるシリアル番号の全体像１１０と、２つのネジ跡１２０とに基づいて、取得した画像２００に写っているタイヤのシリアル番号の全体像１１０を推測して抽出し、機械学習済みの２つのネジ跡１２０に基づいて、抽出した画像に含まれる２つのネジ跡１２０を推測する。機械学習の種類や方法については、特に問わない。シリアル番号の全体像１１０の推測方法と抽出方法については、特に限定しない。また、２つのネジ跡１２０の推測方法については、特に限定しない。

【0098】

ステップＳ４２において、端末１の学習部１７は、推測したシリアル番号の全体像１１０を角度のあるシリアル番号の全体像１１０特有の特徴量と、推測した２つのネジ跡１２０特有の特徴量とを、機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ４２以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0099】

次に、端末１の補正部１２は、２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ４３）。本ステップは、２つのネジ跡１２０が推測された点について以外は、第１実施形態のステップＳ３３と同様のステップである。

【0100】

次に、端末１の第１推測部２２は、２つのネジ跡１２０の間にある文字列において、各文字１３０を検知する（ステップＳ４４）。具体的には、第１推測部２２は、学習済みモデル３００に基づいて、図６に示すように、推測したシリアル番号の全体像１１０に含まれる文字を１字ずつ推測し、各文字１３０が全体に及ぶように矩形状に囲んで抽出、つまり各文字１３０を含む矩形状の画像を抽出する。各文字１３０の画像の推測および抽出方法については、特に限定しない。本実施形態では、各文字を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0101】

ステップＳ４４において、端末１の学習部１７は、推測した各文字１３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ４４以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0102】

次に、端末１の第２判定部２４は、学習済みモデル３００に基づいて、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ４５）。具体的には、第２判定部２４は、推測した各文字１３０の画像において、学習済みの各文字１３０の画像が反転文字としてタグ付けされている場合は、シリアル番号の全体像１１０が反転していると判定する。

【0103】

ステップＳ４５において、端末１の学習部１７は、シリアル番号の全体像１１０が反転画像であると判定した場合は、ステップＳ４４で再学習した各文字１３０の画像特有の特徴量に対して反転文字としてタグ付けして機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ４５以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0104】

次に、端末１の反転部１５は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ４６）。本ステップは、第１実施形態のステップＳ３６と同様のステップである。

【0105】

ステップＳ４６の後において、端末１は、水平方向正位置のシリアル番号の全体像１１１特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ４６以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0106】

次に、端末の認識部１６は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ４７）。本ステップは、第１実施形態のステップＳ３７と同様のステップである。

【0107】

以上が、タイヤのシリアル番号認識処理である。

【0108】

［学習処理］
図１３に基づいて、タイヤのシリアル番号を認識するための端末１が実行する学習処理について説明する。図１３は、タイヤのシリアル番号を認識するための端末１が実行する学習処理のフローチャートを示す図である。

【0109】

端末１の取得部１０は、学習用画像を取得する（ステップＳ５１）。具体的には、取得部１０は、ユーザーが端末１を用いて撮影した正位置のシリアル番号の全体像１１１の画像を取得する。画像は、カラー画像であれば、動画でも静止画でもよい。尚、学習用画像は、別の端末、コンピュータ又は装置からデータ通信等を介して取得してもよい。

【0110】

端末１の学習部１７は、取得した学習用画像を解析する（ステップＳ５２）。具体的には、学習部１７は、この学習用画像に写った正位置のシリアル番号の全体像１１１と、角度のあるシリアル番号の全体像１１１と、２つのネジ跡１２０と、各文字の画像１００を検知して画像解析し、これらに特有の特徴量をそれぞれ抽出する。また、学習部１７は、ユーザーからの入力を端末１の入力部が受け付けることにより、本ステップを実行してもよい。

【0111】

端末１の学習部１７は、各文字の画像１００の上下反転画像については、ステップＳ５２で検知した各文字１３０の画像を反転させた反転画像を作成してその特徴量を抽出し、反転文字としてタグ付けする。また、学習部１７は、ユーザーからの入力を端末１の入力部が受け付けることにより、本ステップを実行してもよい。

【0112】

端末１の学習部１７は、ステップＳ５１で抽出した特徴量と、ステップＳ５２で反転文字としてタグ付けした上下反転画像の特徴量に基づいて、機械学習を実行する（ステップＳ５３）。具体的には、学習部１７は、機械学習として、ステップＳ５１で抽出した特徴量と、ステップＳ５２で反転文字としてタグ付けした上下反転画像特有の特徴量とを教師とした教師あり学習を実行する。ステップＳ５１で抽出した特徴量と、ステップＳ５２で反転文字としてタグ付けした上下反転画像の特徴量は、多層構造のニューラルネットワークによって自動的に定義して学習する深層学習（ディープラ-ニング）で学習してもよい。

【0113】

端末１の学習部１７は、学習結果に基づいて、タイヤのシリアル番号認識用学習済みモデルを作成する（ステップＳ５４）。具体的には、学習部１７は、正位置のシリアル番号の全体像１１１特有の特徴量と、角度のあるシリアル番号の全体像１１１特有の特徴量と、２つのネジ跡１２０特有の特徴量と、各文字の画像１００特有の特徴量と、ステップＳ５２で反転文字としてタグ付けした上下反転画像特有の特徴量を組み込んだタイヤのシリアル番号認識用の学習済みモデル３００を作成する。

【0114】

端末１の学習部１７は、作成した学習済みモデル３００を、自身の記憶部に記憶する（ステップＳ５６）。

【0115】

以上が、学習処理である。

【0116】

タイヤのシリアル番号を認識するための端末１によれば、端末１を用いてタイヤ全体を撮像した画像から文字認識ができることから、タイヤのシリアル番号を認識する際に、タイヤを車両から取り外したり、保管場所から持ち運ぶ必要がなく、さらには２Ｄ画像であっても、さらに正確な文字認識が可能となる。

【0117】

また、タイヤのシリアル番号を認識するための端末１によれば、正位置のシリアル番号の全体像と、角度のあるシリアル番号の全体像と、ネジ跡と、各文字の画像とを学習することにより、タイヤに付けられたシリアル番号の自動認識精度をさらに高めることが可能となる。

【0118】

さらに、タイヤのシリアル番号を認識するための端末１によれば、検知したシリアル番号の全体像が上下反転していた場合に、検知した各文字の画像が反転していることを学習することにより、タイヤに付けられるシリアル番号の認識精度をさらに高めることが可能となる。

【0119】

［第１実施形態の別の態様］
［タイヤのシリアル番号を認識するためのシステム２の概要］
本発明の第１実施形態の別の態様であるタイヤのシリアル番号を認識するためのシステム２の概要について、図１４に基づいて説明する。図１４は、本発明の一態様であるタイヤのシリアル番号を認識するためのシステム２の概要を説明するための図である。なお、上述の第１実施形態の一態様と同一の機能および構成については同一の符号を付し、説明を省略する。本態様が第１実施形態の一態様と異なるのは、コンピュータ３と撮像装置４で構成されたタイヤのシリアル番号を認識するためのシステム２である点である。

【0120】

タイヤのシリアル番号を認識するためのシステム２は、上述したように、コンピュータ３と撮像装置４で構成される。

【0121】

コンピュータ３は、例えば、デスクトップパソコンやノートパソコンやサーバ等のコンピュータ、スマートフォンやタブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等である。

【0122】

コンピュータ３は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0123】

撮像装置４は、例えば、動画および／または静止画等の画像を撮影するカメラであり、カラー画像が撮影できれば、特に限定されない。

【0124】

コンピュータ３と撮像装置４とは、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0125】

次に、タイヤのシリアル番号を認識するためのシステム２が実行する処理の概要について説明する。
まず、コンピュータ３は、タイヤに表示されたシリアル番号の全体像１１０を含む画像１００を取得する（ステップＳ１１）。具体的には、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する以外は、上述の第１実施形態の一態様と同様である。コンピュータ３は、撮像装置４が撮影した画像を、コンピュータ３の通信部により通信網を介して取得してもよいし、外部メディアにより記憶部に格納されることにより取得してもよい。

【0126】

次に、コンピュータ３は、取得した画像１００において、シリアル番号の全体像１１０を検知し、当該全体像１１０において、２つのネジ跡１２０を検知する（ステップＳ１２）。具体的には、上述の第１実施形態の一態様と同様である。

【0127】

次に、端末１は、検知した２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ１３）。具体的には、上述の第１実施形態の一態様と同様である。

【0128】

次に、端末１は、補正したシリアル番号の全体像１１０内の各文字１３０を検知する（ステップＳ１４）。具体的には、上述の第１実施形態の一態様と同様である。

【0129】

次に、端末１は、検知した各文字１３０に基づいて、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ１５）。具体的には、上述の第１実施形態の一態様と同様である。

【0130】

次に、端末１は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ１６）。具体的には、上述の第１実施形態の一態様と同様である。

【0131】

次に、端末１は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ１７）。具体的には、上述の第１実施形態の一態様と同様である。

【0132】

以上が、タイヤのシリアル番号を認識するための端末１が実行する処理の概要である。

【0133】

［タイヤのシリアル番号を認識するためのシステム２のシステム構成］
図１５に基づいて、本実施形態のタイヤのシリアル番号を認識するためのシステム２のシステム構成について説明する。

【0134】

コンピュータ３は、例えば、デスクトップパソコンやノートパソコンやサーバ等のコンピュータ、スマートフォンやタブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等である。

【0135】

コンピュータ３は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0136】

コンピュータ３は、制御部および処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0137】

コンピュータ３は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0138】

撮像装置４は、例えば、動画および／または静止画等の画像を撮影するカメラであり、カラー画像が撮影できれば、特に限定されない。

【0139】

コンピュータ３は、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0140】

コンピュータ３は、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0141】

コンピュータ３は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0142】

制御部は、処理部と協働して取得部１０、第１検知部１１、補正部１２，第２検知部１３、第１判定部１４、反転部１５、認識部１６、学習部１７を実現する。

【0143】

撮像装置４は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0144】

撮像装置４は、例えば、動画および／または静止画等の画像を撮影するために必要な機能を備えるものとし、カラー画像が撮影できれば、特に限定されない。

【0145】

撮像装置４は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0146】

撮像装置４は、入力部として、ユーザーが撮像装置４を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0147】

撮像装置４は、出力部として、ユーザーが撮像装置４を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0148】

撮像装置４は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0149】

コンピュータ３と撮像装置４とは、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0150】

以上が、タイヤのシリアル番号を認識するためのシステム２のシステム構成である。

【0151】

［タイヤのシリアル番号認識処理］
タイヤのシリアル番号を認識するためのシステム２が実行するタイヤのシリアル番号認識処理については、上述の第１実施形態の一態様と同様であり、図３に示すように、ステップＳ３１～Ｓ３７で構成され、上述のステップＳ１１～Ｓ１７に対応する。上述の第１実施形態の一態様とは、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する点が異なるのみであるため、説明を省略する。コンピュータ３は、撮像装置４が撮影した画像を、コンピュータ３の通信部により通信網を介して取得してもよいし、外部メディアにより記憶部に格納されることにより取得してもよい。

【0152】

［第２実施形態の別の態様］
［タイヤのシリアル番号を認識するためのシステム２の概要］
本発明の第２実施形態の別の態様であるタイヤのシリアル番号を認識するためのシステム２の概要について、図１６に基づいて説明する。図１６は、本発明の一態様であるタイヤのシリアル番号を認識するためのシステム２の概要を説明するための図である。なお、上述の第２実施形態の一態様と同一の機能および構成については同一の符号を付し、説明を省略する。本態様が第２実施形態の一態様と異なるのは、上述の第１実施形態の一態様と同様、コンピュータ３と撮像装置４で構成されたタイヤのシリアル番号を認識するためのシステム２である点である。

【0153】

タイヤのシリアル番号を認識するためのシステム２は、第１実施形態の別の態様同様、コンピュータ３と撮像装置４で構成される。

【0154】

コンピュータ３は、例えば、デスクトップパソコンやノートパソコンやサーバ等のコンピュータ、スマートフォンやタブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等である。

【0155】

コンピュータ３は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0156】

撮像装置４は、例えば、動画および／または静止画等の画像を撮影するカメラであり、カラー画像が撮影できれば、特に限定されない。

【0157】

コンピュータ３と撮像装置４とは、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0158】

次に、タイヤのシリアル番号を認識するためのシステム２が実行する処理の概要について説明する。
まず、システム２は、タイヤ全体の画像２００を取得する（ステップＳ２１）。具体的には、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する以外は、上述の第２実施形態の一態様と同様である。

【0159】

次に、システム２は、学習済みモデル３００に基づいて、取得した画像２００において、タイヤのシリアル番号の全体像１１０を推測し、当該全体像１１０において、２つのネジ跡１２０を推測する（ステップＳ２２）。具体的には、上述の第２実施形態の一態様と同様である。

【0160】

次に、システム２は、２つのネジ跡１２０のうち上部のネジ跡１２０と下部のネジ跡１２０の座標から傾きを判定し、当該傾きを補正する（ステップＳ２３）。具体的には、上述の第２実施形態の一態様と同様である。

【0161】

次に、システム２は、学習済みモデル３００に基づいて、補正したシリアル番号の全体像１１０内の各文字の画像を推測する（ステップＳ２４）。具体的には、上述の第２実施形態の一態様と同様である。

【0162】

次に、システム２は、学習済みモデル３００に基づいて、推測した前記各文字の画像において、シリアル番号の全体像１１０が反転しているかどうかを判定する（ステップＳ２５）。具体的には、上述の第２実施形態の一態様と同様である。

【0163】

次に、システム２は、シリアル番号の全体像１１０が反転していると判定された場合、当該全体像１１０を上下反転する（ステップＳ２６）。具体的には、上述の第２実施形態の一態様と同様である。

【0164】

次に、システム２は、２つのネジ跡１２０の間にある文字領域１４０を検出して文字認識する（ステップＳ２７）。具体的には、上述の第２実施形態の一態様と同様である。

【0165】

以上が、タイヤのシリアル番号を認識するための端末１が実行する処理の概要である。

【0166】

［タイヤのシリアル番号を認識するためのシステム２のシステム構成］
図１７に示すように、本実施形態の別の態様のタイヤのシリアル番号を認識するためのシステム２のシステム構成は、コンピュータ３の制御部が、処理部と協働して取得部１０、第３取得部２１、第１推測部２２、補正部１２，第１推測部２２、第２判定部２４、反転部１５、認識部１６、学習部１７を実現する以外は、第１実施形態の別の態様と同様であるため、説明が省略する。
について説明する。

【0167】

［タイヤのシリアル番号認識処理］
タイヤのシリアル番号を認識するためのシステム２が実行するタイヤのシリアル番号認識処理については、上述の第２実施形態の一態様と同様であり、図１２に示すように、ステップＳ４１～Ｓ４７で構成され、上述のステップＳ２１～Ｓ２７に対応する。上述の第２実施形態の一態様とは、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する点が異なるのみであるため、説明を省略する。

【0168】

［学習処理］
タイヤのシリアル番号を認識するための端末１が実行する学習処理については、上述の第２実施形態の一態様とは、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像１１０が写った画像１００を取得する点が異なるのみであるため、説明を省略する。コンピュータ３は、撮像装置４が撮影した画像を、コンピュータ３の通信部により通信網を介して取得してもよいし、外部メディアにより記憶部に格納されることにより取得してもよい。

【0169】

第１実施形態及び第２実施形態の別の態様のシステム２によれば、デスクトップパソコン、ノートパソコン、サーバ等のコンピュータ３と、カラー動画および／または静止画等の画像を撮影するカメラ等の撮像装置４とで実現できることから、一定の場所に撮像装置４を設置することによって、その場所にタイヤが載置または通過するなどした際に撮影されたタイヤのシリアル番号の全体像１１０を含む画像を、コンピュータ３が取得してタイヤのシリアル番号を認識することができ、ユーザーが一定場所に出向く手間と時間を省くことが可能となる。

【0170】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、単数又は複数の端末からネットワーク経由で提供される（クラウドサービス、ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、コンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介して端末に提供するようにしてもよい。

【0171】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0172】

１ 端末、２ システム、３ コンピュータ、４ 撮像装置、１０ 取得部、１１ 第１検知部、１２ 補正部、１３ 第２検知部、１４ 第１判定部、１５ 反転部、１６ 認識部、１７ 学習部、２１ 第３取得部、２２ 第１推測部、２３ 第２推測部、２４第２判定部、１００ ２００ 画像、１１０ シリアル番号の全体像、１２０ ネジ跡、１３０ 文字、３００ 学習済みモデル

【要約】

【課題】タイヤを車両から取り外したり、保管場所から持ち運ぶことなく、画像からタイヤのシリアル番号を文字認識によって読み取る。
【解決手段】
タイヤのシリアル番号を認識するための端末は、前記タイヤに表示されたシリアル番号の全体像を含む画像を取得し、取得した前記画像において、前記シリアル番号の全体像を検知し、当該全体像において、２つのネジ跡を検知し、前記２つのネジ跡のうち上部のネジ跡と下部のネジ跡の座標から傾きを判定し、当該傾きを補正し、補正した前記シリアル番号の全体像内の各文字を検知し、検知した前記各文字に基づいて、前記シリアル番号の全体像が反転しているかどうかを判定し、前記シリアル番号の全体像が反転していると判定された場合、当該全体像を上下反転し、前記２つのネジ跡の間にある文字領域を検出して文字認識する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】