知財求人 - 知財ポータルサイト「IP Force」
特開2023-183769深層人工ニューラルネットワークを用いたタイヤトレッド面摩耗判断システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183769
(43)【公開日】2023-12-28
(54)【発明の名称】深層人工ニューラルネットワークを用いたタイヤトレッド面摩耗判断システム及び方法
(51)【国際特許分類】
B60C 11/24 20060101AFI20231221BHJP
B60C 19/00 20060101ALI20231221BHJP
【ＦＩ】
B60C11/24 Z
B60C19/00 Z
B60C19/00 H
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022097465
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】522242281
【氏名又は名称】オートペディア カンパニー リミテッド
(74)【代理人】
【識別番号】110002398
【氏名又は名称】弁理士法人小倉特許事務所
(72)【発明者】
【氏名】チョ，ジェヨン
(72)【発明者】
【氏名】キム，ボソン
【テーマコード（参考）】
3D131
【Ｆターム（参考）】
3D131BC55
3D131BC57
3D131LA22
3D131LA34
(57)【要約】
【課題】単一画像のみで深層人工ニューラルネットワークを用いてタイヤトレッド面の摩耗状態を自動的に判断するシステム及び方法を提供する。
【解決手段】本発明は，タイヤトレッド面の画像を受信する画像受信部と，前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含むことを特徴とする。
【選択図】図２
【解決手段】本発明は，タイヤトレッド面の画像を受信する画像受信部と，前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含むことを特徴とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断システムであって，
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含む，タイヤトレッド面摩耗判断システム。
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含む，タイヤトレッド面摩耗判断システム。
【請求項2】
前記画像分割部は，
前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項3】
前記画像分割部は，
前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことを特徴とする請求項２記載のタイヤトレッド面摩耗判断システム。
前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことを特徴とする請求項２記載のタイヤトレッド面摩耗判断システム。
【請求項4】
トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含む請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項5】
前記学習部は，
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項４記載のタイヤトレッド面摩耗判断システム。
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項４記載のタイヤトレッド面摩耗判断システム。
【請求項6】
タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項7】
前記出力部の出力値を表示するディスプレイ部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項8】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断方法であって，
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態及びトレッド間の陰影情報に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含む，タイヤトレッド面摩耗判断方法。
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態及びトレッド間の陰影情報に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含む，タイヤトレッド面摩耗判断方法。
【請求項9】
前記画像分割段階は，
前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含むことを特徴とする請求項８記載のタイヤトレッド面摩耗判断方法。
前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含むことを特徴とする請求項８記載のタイヤトレッド面摩耗判断方法。
【請求項10】
前記画像分割段階は，
前記確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことを特徴とする請求項９記載のタイヤトレッド面摩耗判断方法。
前記確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことを特徴とする請求項９記載のタイヤトレッド面摩耗判断方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は，タイヤトレッド面摩耗判断システム及び方法に関し，特に，単一画像のみで深層人工ニューラルネットワークを用いてタイヤトレッド面の摩耗状態を自動的に判断するシステム及び方法に関する。
【背景技術】
【0002】
市内の乗用車及び貨物車に装着されるタイヤは，走行距離に比例してトレッド面が摩耗及び侵食する。よって，安全な走行のためには，一定レベル以上の摩耗が進んだタイヤは交換しなければならない。
【0003】
図１は，摩耗限界線と呼ばれる摩耗度測定用構造を示す。図１を参照すると，各車両のタイヤメーカーは，タイヤトレッド面の摩耗状態の客観的な判断のために，摩耗限界線２と呼ばれる摩耗度測定用構造をタイヤトレッド面に形成して生産している。しかし，専門的な知識のない一般消費者は，このような摩耗限界線２を活用しておらず，肉眼上で自動車のタイヤ摩耗状態を自ら判断するのに困難を経験している。このため，タイヤの交換時期が遅れる或いは交換が不要な状況で交換が必要であるか否かを調べるために，自動車整備所及びタイヤ交換店を不必要に訪れる状況が発生する。
【0004】
これに関連して，タイヤトレッド溝の深さを一々測定する必要がないように，特許文献１は，タイヤ摩耗度測定方法及びその装置を開示している。前記特許文献１は，タイヤ摩耗度測定装置がタイヤに対する動画画像を受信すると，これに基づいて３次元形状の画像を生成し，３次元形成の画像内トレッド領域の深さに基づいてタイヤトレッドの摩耗度を測定できるようにする。
【0005】
また，タイヤが過度に摩耗したことを自動的に警告することができるように，特許文献２は，タイヤ摩耗判断装置及び方法を開示している。前記特許文献２は，別途のセンサ部が算出した車両の制動距離に基づいてタイヤの摩耗度合いを判断できるようにする。
【0006】
このように従来の場合，タイヤの摩耗度合いを自動的に判断する先行技術が多数提案されているが，タイヤトレッド面の摩耗状態測定のために動画を撮影して分析する複雑な作業が必要であり，別途のセンサが要求されるので，限界が存在する。そこで，本発明は，科学技術情報通信部の２０２０年人工知能オンライン競進大会優秀成果企業事業化支援を通じて導出されたものである（課題番号：Ａ０７１２－２０－１０１５）。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】韓国登録特許第１０－１５３４２５９号
【特許文献2】韓国登録特許第１０－１４６９５６３号
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は，単一画像のみを活用してタイヤ摩耗度を判断し，アルゴリズム演算に必要な計算量を減らすことにある。
【0009】
本発明の他の目的は，別途のセンサなしでユーザのモバイルデバイス及び一般撮影装置を用いて，簡単にタイヤトレッド面の摩耗状態を測定できるようにすることにある。
【課題を解決するための手段】
【0010】
上記の目的を達成するために，本発明は，タイヤトレッド面の画像を受信する画像受信部と，前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含むことを一特徴とする。
【0011】
好ましくは，前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含むことができる。
【0012】
好ましくは，前記画像分割部は，前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことができる。
【0013】
好ましくは，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含むことができる。
【0014】
好ましくは，前記学習部は，単一画像で深層人工ニューラルネットワークを学習し，前記出力部は，単一画像でタイヤトレッド面の摩耗度を出力して，演算量を最小化することができる。
【0015】
好ましくは，タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことができる。
【0016】
好ましくは，前記出力部の出力値を表示するディスプレイ部をさらに含むことができる。
【0017】
また，本発明は，タイヤトレッド面の画像を受信する画像受信段階と，前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含むことを他の特徴とする。
【0018】
好ましくは，前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含むことができる。
【0019】
好ましくは，前記画像分割段階は，前記確率抽出段階で抽出した確率を前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことができる。
【発明の効果】
【0020】
本発明によれば，人工ニューラルネットワークモデルを用いてタイヤトレッド面の摩耗度を測定する画像分割部と出力部が単一画像のみを活用してタイヤ摩耗度を判断することができるという利点がある。
【0021】
また，本発明は，ユーザのカメラを用いて別途のセンサなしでトレッド面の摩耗状態を測定することができるという利点がある。
【図面の簡単な説明】
【0022】
【図1】摩耗限界線と呼ばれる摩耗度測定用の構造を示す。
【図2】本発明の実施形態によるタイヤトレッド面摩耗判断システムの構成図を示す。
【図3】本発明の実施形態によるアルゴリズム演算がユーザ端末で行われるタイヤトレッド面摩耗判断システムの構成図を示す。
【図4】本発明の実施形態によるアルゴリズム演算がサーバで行われるタイヤトレッド面摩耗判断システムの構成図を示す。
【図5】本発明の実施形態による深層人工ニューラルネットワーク構造を示す。
【発明を実施するための形態】
【0023】
以下，添付図面を参照して本発明を詳細に説明する。ただし，本発明が例示的な実施形態によって制限又は限定されるものではない。各図面に提示された同一の参照符号は，実質的に同じ機能を行う部材を示す。
【0024】
本発明の目的及び効果は，下記の説明によって自然に理解されるか或いはより明らかにされることができるが，下記の記載のみに本発明の目的及び効果が制限されるものではない。また，本発明を説明するにあたり，本発明による公知の技術についての具体的な説明が，本発明の要旨を不要に不明確にするおそれがあると判断された場合には，その詳細な説明を省略する。
【0025】
図２は，本発明の実施形態によるタイヤトレッド面摩耗判断システム１の構成図を示す。図２を参照すると，タイヤトレッド面摩耗判断システム１は，ユーザ端末１０とサーバ３０を含むことができる。タイヤトレッド面摩耗判断システム１は，画像撮影部１００，画像受信部２００，画像分割部３００，出力部４００，ディスプレイ部５００，及び情報記憶部７００を含むことができる。
【0026】
タイヤトレッド面摩耗判断システム１は，一般の運転者が所持しているユーザ端末１０で撮影された単一画像４のみでタイヤトレッド面の摩耗状態を判断することができる。タイヤトレッド面摩耗判断システム１は，大量のタイヤトレッド面画像，及び当該画像から判断された交換の必要如何を深層人工ニューラルネットワークモデルに注入して学習させることができる。タイヤトレッド面摩耗判断システム１は，単一画像４のトレッド面状態及びトレッド間の陰影情報に基づいて摩耗度を判断することができる。
【0027】
タイヤトレッド面摩耗判断システム１は，タイヤ交換店の職員が交換店を訪れた顧客車両のタイヤトレッド面の摩耗度を簡便に判断し，顧客に案内する用途としても用いることができる。
【0028】
タイヤトレッド面摩耗判断システム１は，摩耗度分析が遠隔で行われ得るので，ＡＰＩ形態で供給できる。
【0029】
ユーザ端末１０は，携帯が可能であり，ネットワークを介してデータを送受信することができる端末であって，スマートフォン，ノートブックなどを含む。このとき，ユーザ端末１０は，本発明の実施形態によるタイヤ摩耗度を出力するためのソフトウェアなどがインストールされた端末であってもよい。ユーザ端末１０は，サーバ３０と無線又は有線ネットワークで接続されることができる。
【0030】
サーバ３０は，深層人工ニューラルネットワークの学習のために大量の演算が可能なように構成されることができる。サーバ３０は，ユーザ端末１０と有線又は無線ネットワークで接続されることができる。
【0031】
画像撮影部１００は，タイヤトレッド面の画像を撮影して画像受信部２００に伝送することができる。画像撮影部１００は，ユーザ端末１０に備えられていてもよく，第３の装置であってもよい。画像撮影部１００は，撮影された画像を画像受信部２００に伝送することができる。画像撮影部１００は，画像受信部２００と無線又は有線ネットワークで接続されることができる。画像撮影部１００は，無線で画像受信部２００と接続されたとき，ＣＤＭＡ(Code Division Multiple Access)，ＷＣＤＭＡ（登録商標）（Wideband CDMA），ＬＴＥ（Long Term Evolution），又はＷｉＦｉなどの広義の移動通信網を使用することができる。
【0032】
ディスプレイ部５００は，出力部４００の出力値を表示することができる。ディスプレイ部５００は，ユーザ端末１０に備えられていてもよく，第３の装置であってもよい。ディスプレイ部５００は，ユーザ又は運転者が撮影した画像と共に，タイヤトレッド面の摩耗度を表示することができる。
【0033】
情報記憶部７００は，学習部６００で使用されるラベル付き画像を記憶することができる。情報記憶部７００は，ユーザ又は運転者がタイヤトレッド面の摩耗度を測定するために撮影した画像を記憶することができる。情報記憶部７００は，ユーザ又は運転者が撮影した画像を深層人工ニューラルネットワークの学習に使用されるようにすることができる。情報記憶部７００は，以前に測定したタイヤトレッド面の摩耗度出力値を記憶することができる。
【0034】
画像受信部２００は，タイヤトレッド面の画像を受信することができる。画像受信部２００は，画像撮影部１００又は一般デジタルカメラで撮影した画像を受信することができる。画像受信部２００は，第３の装置と有線又は無線ネットワークで接続され，第３の装置が撮影又は保存した画像を受信することができる。画像受信部２００は，タイヤトレッド面の画像を受信して画像分割部３００に伝達することができる。
【0035】
画像受信部２００は，受信した画像を前処理することができる。画像受信部２００は，受信した画像のピクセル値を正規化する方式の前処理を行うことができる。画像受信部２００は，受信した画像のピクセル値が０～２５５の間である場合，ピクセル値を－１～１の間に前処理（スケーリング）することができる。画像受信部２００は，深層人工ニューラルネットワークに入力されるように，受信した画像のサイズと解像度を調整する前処理を行うことができる。
【0036】
画像分割部３００は，画像受信部２００が受信した画像からタイヤ部分と背景部分が分割された画像を生成することができる。画像分割部３００は，背景領域に対する画像情報を減らして，出力部４００で深層人工ニューラルネットワークがタイヤトレッド面に集中して演算するようにすることができる。画像分割部３００は，タイヤ部分が分割された画像を生成し，背景部位に少なく影響されるようにすることができる。したがって，画像分割部３００は，出力部４００からタイヤトレッド面の摩耗度が高精度で出力されるようにすることができる。
【0037】
【0038】
確率抽出モジュール３１０は，画像受信部２００が受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出モジュール３１０は，セグメンテーションモデル（segmentation model）を用いてピクセルレベルで各ピクセルがタイヤに該当するのか背景に該当するのかに対する確率（Tread Probability Mask）を抽出することができる。確率抽出モジュール３１０は，確率を求める基準がユーザによって設定されない。すなわち，確率抽出モジュール３１０は，確率を求める基準が深層人工ニューラルネットワークを介した学習によって設定される。
【0039】
確率抽出モジュール３１０は，特定のピクセルがタイヤに該当する確率を０～１の間の値に抽出することができる。確率抽出モジュール３１０が確率を高く抽出した場合，当該ピクセルはタイヤの一部である確率が高いものと判断することができる。
【0040】
確率抽出モジュール３１０が抽出した確率が一定の基準値以上となる場合，該当ピクセルはタイヤの一部としてみなすことができる。確率抽出モジュール３１０は，ユーザによって前記基準値が設定されることができる。また，確率抽出モジュール３１０は，深層人工ニューラルネットワークの学習を介して前記基準値が設定されることもできる。一実施形態として，確率抽出モジュール３１０で抽出した確率が０．５以上であるとき，当該ピクセルはタイヤの一部として見なすことができる。
【0041】
確率乗算モジュール３３０は，確率抽出モジュールが抽出した確率を，画像受信部２００が受信した画像に対応するピクセル別に乗じることができる。確率乗算モジュール３３０は，ピクセル別にタイヤに該当する確率を既存の画像のピクセル値に乗じて，タイヤと関係のない背景部分の情報を希釈することができる。確率乗算モジュール３３０は，抽出された確率を入力された画像に対応するピクセル別に乗じて，背景領域に対する情報が希釈され，タイヤトレッド面に関する情報が強調された画像を生成することができる。
【0042】
確率乗算モジュール３３０は，ＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるActivation Map３０１にTread Probability Mask３０３を乗じたMutiplied Activation Map３０５を生成することができる。確率乗算モジュール３３０は，Mutiplied Activation Map３０５を出力部４００に入力することができる。
【0043】
Mutiplied Activation Map３０５は，タイヤ部分と背景部分が分割された画像である。Mutiplied Activation Map３０５は，出力部４００がタイヤトレッド面の摩耗度を出力するとき，背景部位に少なく影響されるようにすることができる。
【0044】
出力部４００は，学習した深層人工ニューラルネットワークを用いて，画像分割部３００が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力することができる。出力部４００は，画像分割部３００が生成した画像を学習された深層人工ニューラルネットワークに入力して画像内のピクセルを分析する方式でタイヤトレッド面の摩耗状態を測定することができる。
【0045】
出力部４００は，深層人工ニューラルネットワークモデルとして，人工ニューラルネットワークベースのニューラルネットワークアルゴリズム（ＤＮＮ，ＣＮＮ）を使用することができる。深層人工ニューラルネットワークモデルとしてＣＮＮ（Convolutional Neural Network）を使用する場合，最小限の前処理だけでも人工ニューラルネットワークを使用することができる。ＣＮＮ（畳み込みニューラルネットワーク）は，１つ又は複数の合成積層とその上に配置された一般的な人工ニューラルネットワーク層で構成されており，重みと統合層をさらに活用する。ＣＮＮ（Convolutional Neural Network）は，従来の人工ニューラルネットワーク技法よりも容易に訓練され，少ない数のパラメータを使用するという利点がある。
【0046】
出力部４００が出力する値から，運転者はタイヤ交換の必要性を判断することができる。出力部４００が出力する値が「普通」の場合には，交換の必要性が低いことを意味し，「交換」の場合には，交換の必要性があることを意味し，「危険」の場合には，直ちに交換の必要性があることを意味する。
【0047】
学習部６００は，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習部６００で使用される画像は，１０年以上タイヤ摩耗度を評価してきた３人以上のタイヤ専門家アノテーショングループを構成して投票（majority voting）方式で普通，交換，又は危険のいずれか一つに区分してラベル付けされたものであり得る。
【0048】
学習部６００は，学習させる深層人工ニューラルネットワークの入力値として，タイヤ部分と背景部分が分割された画像を使用することができる。学習部６００は，画像分割部３００を経た画像を入力値として使用することができる。学習部６００は，タイヤ部分が強調された画像を用いて学習の正確度と精密度を高めることができる。
【0049】
学習部６００は，単一画像で深層人工ニューラルネットワークを学習し，出力部４００は，単一画像でタイヤトレッド面の摩耗度を出力することにより，タイヤトレッド面摩耗判断システム１の演算量を最小化することができる。単一画像４は，アルゴリズム演算において，動画や複数の画像よりも必要な計算量が少ないという利点がある。
【0050】
本実施形態によれば，ユーザ又は運転者は，単一画像４のみで簡単にタイヤトレッド面の摩耗度を測定することができる。ユーザ又は運転者は，スマートフォンで撮影した単一画像４のみで，タイヤトレッド面の摩耗状態に応じて交換必要如何を普通，交換，又は危険の３段階として確認することができるので，タイヤの交換有無を確認するためにカーセンターを訪問しなくてもよい。
【0051】
図３は，本発明の実施形態によるアルゴリズム演算がユーザ端末１０で行われるタイヤトレッド面摩耗判断システム１の構成図を示す。図３を参照すると，ユーザ端末１０は，画像撮影部１００，画像受信部２００，画像分割部３００，出力部４００，及びディスプレイ部５００を含むことができる。サーバ３０は，学習部６００及び情報記憶部７００を含むことができる。本実施形態によれば，タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００から出力部４００へ，学習された深層人工ニューラルネットワークを伝送する。タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に含まれた画像分割部３００と出力部４００からタイヤトレッド面の摩耗度を出力する。
【0052】
図４は，本発明の実施形態によるアルゴリズム演算がサーバ３０で行われるタイヤトレッド面摩耗判断システムの構成図を示す。図４を参照して説明すると，ユーザ端末１０は，画像撮影部１００，画像受信部２００，及びディスプレイ部５００を含むことができる。サーバ３０は，画像分割部３００，出力部４００，学習部６００，及び情報記憶部７００を含むことができる。本実施形態によれば，タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に含まれた画像受信部２００から，サーバ３０に含まれた画像分割部３００へ画像を伝送する。タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた画像分割部３００と出力部４００からタイヤトレッド面の摩耗度を出力する。
【0053】
本発明の他の実施形態として，タイヤトレッド面摩耗判断方法は，画像受信段階，画像分割段階，学習段階，及び出力段階を含むことができる。
【0054】
画像受信段階は，タイヤトレッド面の画像を受信することができる。画像受信段階は，上述した画像受信部２００で行われる動作を意味する。
【0055】
画像分割段階は，画像受信段階で受信した画像からタイヤ部分と背景部分を分割することができる。画像分割段階は，上述した画像分割部３００で行われる動作を意味する。
【0056】
画像分割段階は，確率抽出段階及び確率乗算段階を含むことができる。
【0057】
確率抽出段階は，画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出段階は，上述した確率抽出モジュール３１０で行われる動作を意味する。
【0058】
確率乗算段階は，確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じることができる。確率乗算段階は，前述の確率乗算モジュール３３０で行われる動作を意味する。
【0059】
学習段階は，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習段階は，上述した学習部６００で行われる動作を意味する。
【0060】
出力段階は，学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力することができる。出力段階は，上述した出力部４００で行われる動作を意味する。
【0061】
タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に記憶されて実行されることができる。タイヤトレッド面摩耗判断システム１は，アプリケーションの形態でユーザ端末１０に記憶されることができる。
【0062】
ユーザ又は運転者は，車両管理アプリケーションを実行して，アプリケーションに含まれたタイヤトレッド面摩耗判断システム１を実行させることができる。運転者は，アプリケーションで撮影部をタッチしてタイヤ部分を撮影することができる。アプリケーションでは，摩耗状態判断の正確度を高めるために例示写真を提示することができる。
【0063】
ユーザ又は運転者が撮影した単一画像４を画像受信部２００が受信し，出力部４００が摩耗状態を出力する。アプリケーションは，最終的な測定値に応じてタイヤ交換の必要性を普通，交換，又は危険のいずれかとしてユーザ端末１０に表示することができる。
【0064】
本発明の実施形態による車両管理アプリケーションを用いると，単一画像４からの摩耗度測定を介して，車両に取り付けられる別途のセンサなしで，一般の運転者が保有しているモバイルデバイスのカメラ装置を利用して，運転者が直接トレッドの厚さを測定することなくタイヤの摩耗度をリアルタイムで確認することができる。
【0065】
以上，代表的な実施形態を介して本発明を詳細に説明したが，本発明の属する技術分野における通常の知識を有する者は，上述した実施形態に対して，本発明の範疇から逸脱することなく様々な変形が可能であることを理解するだろう。したがって，本発明の権利範囲は，説明した実施形態に限定されてはならず，後述する特許請求の範囲だけでなく，特許請求の範囲と均等概念から導出される全ての変更又は変形形態によって定められなければならない。
【符号の説明】
【0066】
１ タイヤトレッド面摩耗判断システム
２ 摩耗限界線
４ 単一画像
１０ ユーザ端末
３０ サーバ
１００ 画像撮影部
２００ 画像受信部
３００ 画像分割部
３０１ Activation Map
３０３ Tread Probability Mask
３０５ Mutiplied Activation Map
３１０ 確率抽出モジュール
３３０ 確率乗算モジュール
４００ 出力部
５００ ディスプレイ部
６００ 学習部
７００ 情報記憶部
２ 摩耗限界線
４ 単一画像
１０ ユーザ端末
３０ サーバ
１００ 画像撮影部
２００ 画像受信部
３００ 画像分割部
３０１ Activation Map
３０３ Tread Probability Mask
３０５ Mutiplied Activation Map
３１０ 確率抽出モジュール
３３０ 確率乗算モジュール
４００ 出力部
５００ ディスプレイ部
６００ 学習部
７００ 情報記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-06-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断システムであって，
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含み，
前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み，前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，前記画像受信部が受信した画像からタイヤ部分と背景部分を分割することを特徴とするタイヤトレッド面摩耗判断システム。
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含み，
前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み，前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，前記画像受信部が受信した画像からタイヤ部分と背景部分を分割することを特徴とするタイヤトレッド面摩耗判断システム。
【請求項2】
前記画像分割部は，
前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項3】
トレッド面の状態に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含む請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項4】
前記学習部は，
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項３記載のタイヤトレッド面摩耗判断システム。
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項３記載のタイヤトレッド面摩耗判断システム。
【請求項5】
タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項6】
前記出力部の出力値を表示するディスプレイ部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項7】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断方法であって，
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含み，
前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み，前記確率抽出段階で抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，前記画像受信部が受信した画像からタイヤ部分と背景部分を分割することを特徴とするタイヤトレッド面摩耗判断方法。
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含み，
前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み，前記確率抽出段階で抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，前記画像受信部が受信した画像からタイヤ部分と背景部分を分割することを特徴とするタイヤトレッド面摩耗判断方法。
【請求項8】
前記画像分割段階は，
前記確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことを特徴とする請求項７記載のタイヤトレッド面摩耗判断方法。
前記確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことを特徴とする請求項７記載のタイヤトレッド面摩耗判断方法。
【手続補正書】
【提出日】2023-12-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断システムであって，
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含み，
前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み，前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成する確率乗算モジュールを含み，前記確率乗算モジュールは前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力することを特徴とするタイヤトレッド面摩耗判断システム。
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含み，
前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み，前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成する確率乗算モジュールを含み，前記確率乗算モジュールは前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力することを特徴とするタイヤトレッド面摩耗判断システム。
【請求項2】
トレッド面の状態に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含む請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項3】
前記学習部は，
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項２記載のタイヤトレッド面摩耗判断システム。
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項２記載のタイヤトレッド面摩耗判断システム。
【請求項4】
タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項5】
前記出力部の出力値を表示するディスプレイ部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。
【請求項6】
深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断方法であって，
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含み，
前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み，前記確率抽出段階で抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成して，前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力する確率乗算段階とを含むことを特徴とするタイヤトレッド面摩耗判断方法。
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含み，
前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み，前記確率抽出段階で抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成して，前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力する確率乗算段階とを含むことを特徴とするタイヤトレッド面摩耗判断方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【0042】
確率乗算モジュール３３０は，ＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるActivation Map３０１にTread Probability Mask３０３を乗じたMultiplied Activation Map３０５を生成することができる。確率乗算モジュール３３０は，Multiplied Activation Map３０５を出力部４００に入力することができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【0043】
Multiplied Activation Map３０５は，タイヤ部分と背景部分が分割された画像である。Multiplied Activation Map３０５は，出力部４００がタイヤトレッド面の摩耗度を出力するとき，背景部位に少なく影響されるようにすることができる。