特許 7533195 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240806BHJP

   G06T 7/00 20170101ALI20240806BHJP

【ＦＩ】

G06T7/60 200C

G06T7/00 650B

【請求項の数】 9

(21)【出願番号】P 2020209602

(22)【出願日】2020-12-17

(65)【公開番号】P2022096477

(43)【公開日】2022-06-29

【審査請求日】2023-06-27

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(72)【発明者】

【氏名】鳥山 秀之

【審査官】稲垣 良一

(56)【参考文献】

【文献】特開２０１９－２８９６７（ＪＰ，Ａ）

【文献】特開２０１９－１５８４８９（ＪＰ，Ａ）

【文献】特開２０１７－２１９３６６（ＪＰ，Ａ）

【文献】国際公開第２０１５／０５２８９６（ＷＯ，Ａ１）

【文献】特開２０１９－２１１２２３（ＪＰ，Ａ）

【文献】特開２０１９－１９６９８２（ＪＰ，Ａ）

【文献】特開２０１９－１９４５４２（ＪＰ，Ａ）

【文献】特開２０１８－４９５６８（ＪＰ，Ａ）

【文献】特開平７－２１３８１（ＪＰ，Ａ）

【文献】特開平３－２３９９０２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１６９９２１７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５１７２４９４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両の側方を撮影して得られる撮像画像を取得する取得手段と、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出手段と、
前記形状抽出手段により抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出手段と、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備え、
前記組検出手段は、さらに半径比率が所定範囲にある２つの円または楕円の組を決定する、画像処理装置。

【請求項2】

車両の側方を撮影して得られる撮像画像を取得する取得手段と、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出手段と、
前記形状抽出手段により抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出手段と、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定手段と、
前記撮像画像に第１画像処理を実行する第１処理手段と、
前記撮像画像に前記第１画像処理と異なる第２画像処理を実行する第２処理手段と、を備え、
前記形状抽出手段は、前記第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出手段と、
前記第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出手段と、を含み、
前記組検出手段は、さらに、前記第１抽出手段により抽出された前記第１の円または楕円と前記第２抽出手段により抽出された前記第２の円または楕円との組を決定する、画像処理装置。

【請求項3】

前記所定範囲は、前記車両に装着されたタイヤとリムそれぞれの半径に基づき定められる、請求項１に記載の画像処理装置。

【請求項4】

前記特定手段により特定されたタイヤ部分に基づいて前記車両が過積載か否かを判断する判断手段を、さらに備えた請求項３に記載の画像処理装置。

【請求項5】

請求項１～４のいずれかに記載の画像処理装置と、
前記車両を撮像して得られる画像を前記撮像画像として前記画像処理装置に出力する撮像手段と、を備えた過積載検知システム。

【請求項6】

車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、
前記形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させ、
前記組検出ステップは、さらに半径比率が所定範囲にある２つの円または楕円の組を決定することを含む、画像処理方法。

【請求項7】

車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、
前記形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、
前記撮像画像に第１画像処理を実行する第１処理ステップと、
前記撮像画像に前記第１画像処理と異なる第２画像処理を実行する第２処理ステップと、を画像処理装置に実行させ、
前記形状抽出ステップは、前記第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出ステップと、
前記第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出ステップと、を含み、
前記組検出ステップは、さらに、前記第１抽出ステップにおいて抽出された前記第１の円または楕円と前記第２抽出ステップにおいて抽出された前記第２の円または楕円との組を決定することを含む、画像処理方法。

【請求項8】

車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、
前記形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させ、
前記組検出ステップは、さらに半径比率が所定範囲にある２つの円または楕円の組を決定することを含む、画像処理プログラム。

【請求項9】

車両の側方を撮影して得られる撮像画像を取得する取得ステップと、
前記撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、
前記形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、
前記組に決定された２つの円または楕円に基づいて前記撮像画像における前記車両のタイヤに対応するタイヤ部分を特定する特定ステップと、
前記撮像画像に第１画像処理を実行する第１処理ステップと、
前記撮像画像に前記第１画像処理と異なる第２画像処理を実行する第２処理ステップと、をコンピューターに実行させ、
前記形状抽出ステップは、前記第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出ステップと、
前記第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出ステップと、を含み、
前記組検出ステップは、さらに、前記第１抽出ステップにおいて抽出された前記第１の円または楕円と前記第２抽出ステップにおいて抽出された前記第２の円または楕円との組を決定することを含む、画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像処理装置、過積載検知システム、画像処理方法および画像処理プログラムに関し、特に、車両を撮像して得られる撮像画像中で車両のタイヤに対応するタイヤ部分を特定する画像処理装置、その画像処理装置を備えた過積載検知システムおよびその画像処理装置で実行される画像処理方法およびその画像処理方法をコンピューターに実行させる画像処理プログラムに関する。

【背景技術】

【0002】

通行する車両のタイヤの形状に基づいて、タイヤの変形量から車両の過積載を判定する技術が知られている。例えば、特開２００２－２２８４２３号公報には、通行車両のタイヤ付近を横斜め上から撮像装置で撮像し、得られた画像をエッジ検出してタイヤの輪郭情報を検出し、検出された前記タイヤの輪郭情報に対して楕円を検出する擬似ハフ変換処理を定義し、エッジ検出画像のエッジ点において、ハフ変換のパラメータ空間での投票処理を行ってタイヤの検出を行うことを特徴とするタイヤ検出方法が知られている。

【0003】

しかしながら、撮像装置で撮像して得られた画像からエッジとして抽出される部分は、タイヤの輪郭に限らず、タイヤ以外の部分、例えば、ボディーや他の部品の輪郭が含まれる場合がある。このため、車両のボディーや他の部品がタイヤと誤って抽出されることがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－２２８４２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することである。

【0006】

この発明の他の目的は、車両を撮像して得られる撮像画像から車両の過積載を検知可能な過積載検知システムを提供することである。

【0007】

この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することである。

【0008】

この発明のさらに他の目的は、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することである。

【課題を解決するための手段】

【0009】

上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、車両の側方を撮影して得られる撮像画像を取得する取得手段と、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出手段と、形状抽出手段により抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出手段と、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定手段と、を備え、組検出手段は、さらに半径比率が所定範囲にある２つの円または楕円の組を決定する。

【0010】

この局面に従えば、車両の側方を撮影して得られる撮像画像に含まれるエッジをハフ変換することにより抽出される複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組が決定され、２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分が特定される。タイヤは、車両に装着されるリムに装着される。タイヤとリムとは回転中心が同じなので、タイヤの輪郭とリムの輪郭とは撮像画像中に中心座標間の距離が閾値以下となる２つの円または楕円として表される。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することができる。

【0012】

また、タイヤとリムとの半径比率は車両によって定まるので、車両が特定される場合にタイヤ部分をより正確に抽出することができる。
この発明の他の局面によれば、画像処理装置は、車両の側方を撮影して得られる撮像画像を取得する取得手段と、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出手段と、形状抽出手段により抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出手段と、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定手段と、撮像画像に第１画像処理を実行する第１処理手段と、撮像画像に第１画像処理と異なる第２画像処理を実行する第２処理手段と、を備え、形状抽出手段は、第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出手段と、第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出手段と、を含み、組検出手段は、さらに第１の円または楕円と第２の円または楕円との組を決定する。
この局面に従えば、撮像画像に第１画像処理が実行された画像から抽出されるエッジをハフ変換することにより第１の円または楕円が抽出され、撮像画像に第２画像処理が実行された画像から抽出されるエッジをハフ変換することにより第２の円または楕円が抽出される。そして、第１の円または楕円と第２の円または楕円との組に基づいて撮像画像における車両のタイヤに対応するタイヤ部分が特定される。第１画像処理と第２画像処理とは異なるので、撮像画像に第１画像処理が実行された画像から抽出されるエッジと撮像画像に第２画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第１画像処理を撮像画像中で車両のタイヤの輪郭に対応する部分がエッジとして現れやすい処理とすれば、タイヤの輪郭に対応する部分を含む第１の円または楕円が抽出され易くなる。また、第２画像処理を撮像画像中で車両のリムの輪郭に対応する部分がエッジとして現れやすい処理とすれば、リムの輪郭に対応する部分を含む第２の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理装置を提供することができる。

【0013】

好ましくは、所定範囲は、車両に装着されたタイヤとリムそれぞれの半径に基づき定められる。

【0014】

この局面に従えば、タイヤとリムそれぞれの半径は車両によって定まるので、車両が特定される場合に、半径比率を正確に決定され、タイヤ部分がより正確に抽出される。

【0015】

好ましくは、特定手段により特定されたタイヤ部分に基づいて車両が過積載か否かを判断する判断手段を、さらに備える。

【0016】

この局面に従えば、撮像画像から容易に車両の過積載を判断することができる。

【0019】

この発明の他の局面によれば、過積載検知システムは、上述の画像処理装置と、車両を撮像して得られる画像を撮像画像として画像処理装置に出力する撮像手段と、を備える。

【0020】

この局面に従えば、車両の車重を容易に予測可能な過積載検知システムを提供することができる。

【0021】

この発明のさらに他の局面によれば、画像処理方法は、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、を画像処理装置に実行させ、組検出ステップは、さらに半径比率が所定範囲にある２つの円または楕円の組を決定することを含む。
この発明のさらに他の局面によれば、画像処理方法は、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、撮像画像に第１画像処理を実行する第１処理ステップと、撮像画像に第１画像処理と異なる第２画像処理を実行する第２処理ステップと、を画像処理装置に実行させ、形状抽出ステップは、第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出ステップと、第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出ステップと、を含み、組検出ステップは、さらに、第１抽出ステップにおいて抽出された第１の円または楕円と第２抽出ステップにおいて抽出された第２の円または楕円との組を決定することを含む。

【0022】

この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理方法を提供することができる。

【0023】

この発明のさらに他の局面によれば、画像処理プログラムは、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、をコンピューターに実行させ、組検出ステップは、さらに半径比率が所定範囲にある２つの円または楕円の組を決定することを含む。
この発明のさらに他の局面によれば、画像処理プログラムは、車両の側方を撮影して得られる撮像画像を取得する取得ステップと、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出ステップと、形状抽出ステップにおいて抽出された複数の円または楕円のうちから中心座標間の距離が閾値以下となる２つの円または楕円の組を決定する組検出ステップと、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定ステップと、撮像画像に第１画像処理を実行する第１処理ステップと、撮像画像に第１画像処理と異なる第２画像処理を実行する第２処理ステップと、をコンピューターに実行させ、形状抽出ステップは、第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出する第１抽出ステップと、第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出する第２抽出ステップと、を含み、組検出ステップは、さらに、第１抽出ステップにおいて抽出された第１の円または楕円と第２抽出ステップにおいて抽出された第２の円または楕円との組を決定することを含む。

【0024】

この局面に従えば、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することが可能な画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0025】

【図1】本実施の形態における過積載検知システムの全体概要の一例を示す図である。

【図2】撮像装置のハードウェア構成の一例を示すブロック図である。

【図3】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図4】本実施の形態における画像処理装置が備えるＣＰＵが有する機能の一例を示す図である。

【図5】撮像画像に含まれるタイヤ部分とハフ変換により抽出される円または楕円との関係の一例を示す図である。

【図6】タイヤの変形判定量を説明する図である。

【図7】過積載検知処理の流れの一例を示すフローチャートである。

【図8】タイヤ部分抽出処理の流れの一例を示すフローチャートである。

【図9】エッジ抽出処理の流れの一例を示すフローチャートである。

【図10】第２の実施の形態における画像処理装置が備えるＣＰＵが有する機能の一例を示す図である。

【図11】第１画像処理および第２画像処理で用いられるパラメータの違いを示す図である。

【図12】第１抽出条件と第２抽出条件との一例を示す図である。

【図13】第２の実施の形態におけるタイヤ部分抽出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0026】

以下、本発明の実施の形態における画像処理装置、その画像処理装置を備えた過積載検知システムについて図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

【0027】

＜第１の実施の形態＞
図１は、本実施の形態における過積載検知システムの全体概要の一例を示す図である。過積載検知システム１は、撮像装置１０と、画像処理装置２０とを含む。撮像装置１０は、限定するものではないが、例えば、高速道路などの自動車専用道路の進入／退出レーンの脇の固定された位置に固定された向きで設けられて、当該自動車専用道路に進入または退出する車両を撮像する。撮像装置１０は、カメラ１１（図２参照）を備える。カメラ１１は、走行路ＲＷを走行する車両を撮影して得られる撮像画像を出力する。

【0028】

画像処理装置２０は、撮像装置１０から撮像画像を取得して画像処理し、車両のタイヤの変形量に基づく車両の過積載を判定する。画像処理装置２０は、積載物の重量を含む車両の重量がその車両に応じた所定の基準を超過しているか否かを判断する。

【0029】

なお、図１においては、車両の片側だけが撮影される場合が示されているが、計測精度を向上するために車両の両側が撮影されてもよい。

【0030】

図２は、撮像装置のハードウェア構成の一例を示すブロック図である。図２を参照して、撮像装置１０は、カメラ１１と、制御部１２と、記憶部１３と、通信部１４と、を備える。制御部１２は、撮像装置１０の全体を制御する中央演算装置（ＣＰＵ）である。記憶部１３は、データを不揮発的に記憶可能なハードディスクドライブ（ＨＤＤ）である。なお、記憶部１３は、フラッシュメモリー等の半導体メモリであってもよい。通信部１４は、画像処理装置２０と通信するためのインターフェースである。通信部１４は、画像処理装置２０と有線で接続されてもよいし、無線で接続されてもよい。また、通信部１４は、インターネットなどのネットワークを介して画像処理装置２０と接続されてもよい。

【0031】

カメラ１１は、外部から入力された可視光を各画素位置に導く光学装置と、各画素位置でＲＧＢ各色の入射光量を検出する検出部などを備える。光学装置により集光された光は検出部に結像される。検出部は、光電変換素子が２次元に配列され、受光した光を光電変換して、２次元に配列された複数の画素の画素値からなる撮像画像を出力する。撮像画像は、ＲＧＢそれぞれの色の明度からなるカラーの画像であってもよいし、１色の明度からなるモノクロの画像であってもよい。光電変換素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

【0032】

カメラ１１から出力される撮像画像は、記憶部１３に格納される。制御部１２は、記憶部１３に一時的に格納された撮像画像を適切なタイミングで通信部１４を介して画像処理装置２０に出力する。撮像画像は、ある時点における車両を撮像して得られる静止画であってもよいし、継続した時間の間車両を撮像して得られる動画であってもよい。

【0033】

撮像画像を静止画とする場合、撮像装置１０は、所定時間間隔で静止画を出力してもよい。撮像画像を動画とする場合におけるフレームレートや所定の時間間隔は、画角内を横切る各車両がそれぞれ少なくとも複数のフレーム（例えば、３～６枚など）が得られる程度であればよく、撮像装置１０の設置位置やカメラ１１の画角内で想定される車両の走行速度に応じて変更可能であってもよい。

【0034】

図３は、画像処理装置のハードウェア構成の一例を示すブロック図である。図３を参照して、画像処理装置２０は、演算処理を行うコンピューターであり、画像処理装置２０の全体を制御するためのＣＰＵ２０１と、ＣＰＵ２０１が実行するためのプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＣＰＵ２０１の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、データを不揮発的に記憶するＨＤＤ２０４と、ＣＰＵ２０１をネットワークに接続する通信部２０５と、情報を表示する表示部２０６と、ユーザーの操作の入力を受け付ける操作部２０７と、外部記憶装置２１０と、を含む。

【0035】

通信部２０５は、画像処理装置２０をネットワークに接続するためのインターフェースである。ネットワークは、インターネットを含む。このため、ＣＰＵ２０１は、通信部２０５を介して、インターネットに接続されたコンピューターと通信可能である。また、通信部２０５は、外部機器と通信するためのインターフェースでもある。通信部２０５が通信可能に接続される外部機器としては、撮像装置１０の他、例えば、過積載の車両の運転手に対して報知動作を行う報知装置、過積載の車両の通行を遮断する遮断機の動作制御装置、過積載の車両の監視員による監視装置であってもよい。

【0036】

ＣＰＵ２０１は、インターネット等のネットワークに接続されたコンピューターからプログラムをダウンロードしてＨＤＤ２０４に記憶する。また、ネットワークに接続されたコンピューターがプログラムをＨＤＤ２０４に書込みする場合に、ＨＤＤ２０４にプログラムが記憶される。ＣＰＵ２０１は、ＨＤＤ２０４に記憶されたプログラムをＲＡＭ２０３にロードして実行する。

【0037】

外部記憶装置２１０は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１１が装着される。本実施の形態においては、ＣＰＵ２０１は、ＲＯＭ２０２またはＨＤＤ２０４に記憶されたプログラムを実行する例を説明する。ＣＰＵ２０１は、外部記憶装置２１０を制御して、ＣＤ－ＲＯＭ２１１からＣＰＵ２０１が実行するためのプログラムを読出し、読み出したプログラムをＲＡＭ２０３に記憶して実行してもよい。

【0038】

なお、ＣＰＵ２０１が実行するためのプログラムを記憶する記録媒体としては、ＣＤ－ＲＯＭ２１１に限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等の半導体メモリ等の媒体でもよい。ここでいうプログラムは、ＣＰＵ２０１により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

【0039】

ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムの他、車両情報を記憶する。ＨＤＤ２０４に記憶されるプログラムには、過積載検知プログラムが含まれる。ＨＤＤ２０４に代えて、フラッシュメモリーなどの不揮発性メモリが用いられてもよい。また、プログラムおよび車両情報は、ＲＯＭ２０２に記憶されていてもよい。

【0040】

車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、タイヤの種別や車両の種別を特定するために用いられるデータを含む。具体的には、諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。諸元データベースは、車両の軸数、タイヤ数、タイヤの種類、車両の乾燥重量などを含んでもよい。判定基準値は、例えば、車両に対して予め定められた最大の車重に対する変形判定量である。変形判定量は、車重の違いによりタイヤが変形する度合いを示す値である。判定基準値は、過積載の有無の判定に用いられる閾値であり、車両およびタイヤの種別ごとに定めた値である。変形判定量および判定基準値の詳細は、後述する。

【0041】

ＨＤＤ２０４は、さらに、撮像画像やその解析結果を記憶してもよい。撮像画像やその解析結果は、所定の容量内で古いデータから順番に上書き更新される。また、撮像画像やその解析結果は、ＨＤＤ２０４に記憶されてから所定の時間が経過後に消去され、空いた領域に新たな撮像画像やその解析結果が記憶されてもよい。特に、過積載であると判定された撮像画像は、別途通信部２３などを介して外部から取得されるまで保持されてもよい。

【0042】

図４は、本実施の形態における画像処理装置が備えるＣＰＵが有する機能の一例を示す図である。図４に示す機能は、画像処理装置２０が備えるＣＰＵ２０１が、ＲＯＭ２０２、ＨＤＤ２０４またはＣＤ－ＲＯＭ２１１に記憶された過積載検知プログラムを実行することにより、ＣＰＵ２０１により実現される機能である。図４を参照して、ＣＰＵ２０１は、撮像装置１０からカメラ１１が被写体を撮像して出力する撮像画像を取得する取得部２５１と、被写体である車両に関する情報を検出する車両情報検出部２５３と、撮像画像からエッジ画像を生成するエッジ画像生成部２６５と、エッジ画像から円または楕円の形状を抽出する形状抽出部２６１と、組検出部２６３と、撮像画像中で被写体である車両のタイヤに対応するタイヤ部分を特定する特定部２５５と、車両の状態が過積載であるか否かを判断する判断部２５７と、過積載と判断される場合に通知する出力部２５９と、を含む。

【0043】

取得部２５１は、撮像装置１０が備えるカメラ１１が被写体を撮像し、出力する撮像画像を撮像装置１０から取得する。撮像装置１０は、撮像範囲を車両が通過する間に車両を被写体として撮像する。撮像装置１０は、被写体としての車両を撮像するので、撮像画像は被写体である車両に対応する部分を含む。取得部２５１は、撮像装置１０から取得された撮像画像を車両情報検出部２５３、特定部２５５およびエッジ画像生成部２６５に出力する。撮像画像は、動画であってもよいし、静止画であってもよい。取得部２５１は、撮像画像が動画の場合、動画に含まれる複数のフレームのうちから選択された１以上の静止画を出力する。

【0044】

車両情報検出部２５３は、車両に関する車両情報を検出する。例えば、車両情報検出部２５３は、撮像画像に含まれる車両のナンバープレートに対応する部分を抽出し、抽出された部分を文字認識することによりナンバープレートに記載されている情報を抽出する。そして、車両情報検出部２５３は、ナンバープレートに記載されている情報を用いて、ＨＤＤ２０４に予め記憶されている車両情報を検索し、撮像画像に被写体として含まれる車両の車両情報を取得する。また、撮像画像に含まれる車両の部分から車種が検出されてもよい。車両情報は、諸元データベースと、判定基準値と、を含む。諸元データベースは、車両に装着されているタイヤの径、車両に装着されているリムの径、を含む。判定基準値は、車両に対して予め定められた最大の車重に対する変形判定量である。車両情報検出部２５３は、検出された車両情報を条件決定部２６７および判断部２５７に出力する。

【0045】

なお、本実施の形態においては、車両情報をＨＤＤ２０４に記憶する例を説明するが、車両情報は、画像処理装置２０とは別のコンピューターに記憶されてもよい。例えば、画像処理装置２０と通信可能にネットワークで接続されたサーバーに車両情報が記憶される場合、車両情報検出部２５３は、そのサーバーにナンバープレートに記されている情報を送信し、サーバーから被写体となった車両の車両情報を取得する。車両情報の諸元データベースおよび判定基準値が別のコンピューターに記憶されてもよい。例えば、諸元データベースがサーバーに記憶され、判定基準値が画像処理装置２０に記憶されてもよい。

【0046】

エッジ画像生成部２６５は、取得部２５１から入力される撮像画像を画像処理することによりエッジ画像を生成する。エッジ画像は、撮像画像に含まれるエッジを含む画像である。エッジ画像生成部２６５は、撮像画像に画像処理を実行することによりエッジ画像を生成する。エッジ画像生成部２６５は、エッジ画像を形状抽出部２６１に出力する。

【0047】

エッジ画像生成部２６５が実行する画像処理は、撮像画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を２値化する２値化処理と、を含む。スムージング処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を小さくする処理である。例えば、スムージング処理は、平滑化フィルタを用いて、処理対象画像を畳み込み演算する処理である。異なる平滑化フィルタが用いられる場合、スムージングの程度が異なる。

【0048】

微分画像生成処理は、画像中の複数の画素それぞれについて、隣接する画素との画素値の差を示す微分画像を生成する処理である。例えば、微分画像生成処理は、微分フィルタを用いて、処理対象画像を畳み込み演算する処理である。微分フィルタは、１次微分フィルタであってもよいし、２次微分フィルタであってもよい。

【0049】

２値化処理は、微分画像生成処理により生成された微分画像を２値化する処理である。例えば、２値化処理は、微分画像の複数の画素の画素値を２値化の閾値と比較し、エッジ画素とエッジでない画素とに区別する処理である。２値化の閾値が異なる場合、２値化の程度が異なる。

【0050】

なお、ここでは、エッジ画像生成部２６５が、スムージング処理を実行する場合を例に説明するが、スムージング処理に代えて、または、スムージング処理に加えて縮小処理を実行してよい。縮小処理によって、スムージング処理と同様の効果が得られる。

【0051】

形状抽出部２６１は、エッジ画像から円または楕円の形状を抽出する。形状抽出部２６１は、エッジ画像に含まれるすべての円または楕円を抽出してもよい。また、車両情報により、車両に装着されるタイヤの径およびリムの径が分かっているので、形状抽出部２６１は、タイヤの径およびリムの径に相当する円または楕円を抽出してもよい。車両情報により定められる車両の基準となる部分の長さと車両のタイヤおよびリムそれぞれの径との比率から、第１径情報および第２径情報が決定される。第１径情報は、撮像画像における車両のタイヤ部分の径から所定の範囲の径であり、第２径情報は、撮像画像におけるリム部分の径から所定の範囲の径である。第１径情報が、タイヤ部分の外縁に相当する円または楕円を抽出するための条件として設定され、第２径情報がリム部分の外縁に相当する円または楕円を抽出するための条件として設定される。

【0052】

車両の基準となる部分は、撮像画像からの抽出が容易な部分として予め定めておけばよい。例えば、車両の基準となる部分は、車両の高さであってもよいし、車両の長さであってもよい。車両の基準となる部分を車両の高さとする場合、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとタイヤの径との比率とから、撮像画像に含まれるタイヤ部分の径が決定される。同様に、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとリムの径との比率とから、撮像画像に含まれるリム部分の径が決定される。

【0053】

ここで、楕円の中心は、楕円の長径と短径とが交わる点である。タイヤとカメラ１１との位置関係により、撮像画像中のタイヤ部分およびリム部分が円となる場合と、楕円になる場合がある。カメラ１１の光軸がタイヤの中心を通る車軸の方向と一致する場合に撮像画像中のタイヤ部分およびリム部分が円になり、カメラ１１の光軸がタイヤの中心を通る車軸の方向と交わる場合に撮像画像中のタイヤ部分およびリム部分が楕円になる。カメラ１１の光軸をタイヤの中心を通る車軸と同じ高さとなるようにカメラ１１が設置される場合、カメラ１１の光軸とタイヤの中心を通る車軸とが水平方向で交わる。この場合、撮像画像中のタイヤ部分およびリム部分が楕円になるが、垂直方向の長さは変化しない。このため、楕円の径は長径とすればよい。

【0054】

また、形状抽出部２６１は、ハフ変換における投票値の閾値を、タイヤ部分の径およびリム部分の径に応じて決定してもよい。ハフ変換で画素ごとに投票される投票値は、円または楕円の半径が大きくなるほど多くなる。このため、円または楕円の径と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定されてもよい。

【0055】

なお、撮像画像に含まれるタイヤ部分の径およびリム部分の径それぞれに応じて閾値が補正されてもよい。撮像画像中のタイヤ部分にタイヤの外縁のすべてが含まれるとは限られず、同様に、撮像画像中のリム部分にリムの外縁のすべてが含まれるとは限られない。このため、実験等により求められる補正値を用いて閾値が補正されてもよい。補正値は、スムージング処理の程度および２値化処理の閾値に基づいて定めるのが好ましい。

【0056】

組検出部２６３は、形状抽出部２６１によりエッジ画像から抽出された複数の円または楕円のうちから中心座標が所定範囲にある２つの円または楕円の組を検出する。タイヤの回転軸とリムの回転軸は一致する。このため、撮像画像中でタイヤ部分の外縁を含む第１の円または楕円の中心とリム部分の外縁を含む第２の円または楕円の中心とは一致するはずである。したがって、中心座標が所定の範囲内にある２つの円または楕円の組が、タイヤ部分の外縁を含む円または楕円とリム部分の外縁を含む円または楕円との組に相当する確率が高い。

【0057】

さらに、組検出部２６３は、半径比率が所定範囲にある２つの円または楕円の組を決定する。タイヤとリムとの半径比率は車両によって定まる。このため、中心座標の距離が所定範囲にある円または楕円が複数ある場合に、半径比率が所定の範囲にある２つの円または楕円の組を特定することができる。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する２つの円または楕円の組をより正確に抽出することができる。

【0058】

組検出部２６３は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて、半径比率を決定する。このため、半径比率が正確に決定される。

【0059】

図５は、撮像画像に含まれるタイヤ部分とハフ変換により抽出される円または楕円との関係の一例を示す図である。図５を参照して、撮像画像に含まれるタイヤ部分の外縁と、リム部分の外縁とが細い実線で示される。ハフ変換により抽出される円が点線または一点鎖線で示される。ハフ変換により抽出される円として、タイヤ部分の外縁に対して細い点線で示される第１の円とリム部分の外縁に対して太い点線で示される第２の円とに加えて、太い一点鎖線で示す２つの円が含まれる場合を例に示される。これら４つの円のうちで、中心座標が所定の範囲内になる２つの円の組は、細い点線で示されるタイヤ部分の外縁に対応する第１の円と、太い点線で示されるリム部分の外縁に対応する第２の円とである。なお、一点鎖線で示される２つの円は、ハフ変換により誤って検出される円である。

【0060】

図４に戻って、特定部２５５は、取得部２５１から撮像画像が入力され、組検出部２６３から２つの円または楕円の組が入力される。特定部２５５は、撮像画像中でタイヤ部分を特定する。具体的には、特定部２５５は、組検出部２６３から入力される組に含まれる径の大きな第１の円または楕円に基づいて、撮像画像中のタイヤ部分の外縁を特定し、組検出部２６３から入力される組に含まれる径の小さな第２の円または楕円に基づいて、撮像画像中のリム部分の外縁を特定する。特定部２５５は、撮像画像中で、第１の円または楕円から所定範囲に含まれるエッジをタイヤ部分の外縁の一部に特定する。また、特定部２５５は、特定されたタイヤ部分の外縁の一部を構成するエッジと連続するエッジを、タイヤ部分の外縁の一部に決定する。タイヤの地面に接地する部分は、撮像画像中で第１の円または楕円から所定範囲に含まれない場合がある。タイヤの地面に接地しない部分が、撮像画像中で第１の円または楕円から所定範囲に含まれるので、タイヤの地面に接地しない部分に対応するエッジと連続するエッジをタイヤ部分の外縁とすることで、タイヤの地面と接地する部分に対するタイヤ部分の外縁が決定される。特定部２５５は、撮像画像中のタイヤ部分の外縁を判断部２５７に出力する。なお、第１の円または楕円の内部で、撮像画像中で路面と平行なエッジがタイヤ部分の外縁に決定されてもよい。

【0061】

判断部２５７は、特定部２５５から撮像画像中のタイヤ部分の外縁が入力され、車両情報検出部２５３から車両情報が入力される。判断部２５７は、タイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かを判断する。例えば、判断部２５７は、タイヤ部分の外縁に基づいて、タイヤ部分の中心、半径および変形判定量を決定し、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かを判別する。判断部２５７は、変形判定量が判定基準値を超過している場合に、過積載と判断し、出力部２５９に警告指示を出力する。

【0062】

出力部２５９は、警告指示が入力されることに応じて、警告情報を出力する。例えば、出力部２５９は、表示部２０６に警告メッセージを表示する。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。

【0063】

図６は、タイヤの変形判定量を説明する図である。図６を参照して、タイヤＴは、車輪のホイールのリムＲに取り付けられている。タイヤＴは、正確には、表面に凹部等の構造を有するが、ここでは、当該タイヤＴを回転軸方向から見た正面画像からこれら凹部などの構造を無視したタイヤの外縁を含む円が検出されるものとして説明する。また、ここでは、水平方向がｘ軸方向、垂直方向がｙ軸方向として示される。また、タイヤが接地する路面は略水平であり、ｘ軸方向に沿って延びているとする。なお、特には限られないが、以降では、カメラ１１の撮影範囲を矩形状の領域とし、撮像画像は、縦方向および横方向がそれぞれｙ軸方向およびｘ軸方向に沿っているものとして説明する。各軸の原点位置は、例えば、画像の左下端部や画像の中心位置など、任意に定められてよい。

【0064】

タイヤＴは、変形していない状態で直径Ｌ２ｔである。タイヤＴは、車両の重みによって、外縁Ｔｓのうち路面に接地する接地部分が路面に沿って面状に変形し、圧縮幅ｄＬｙだけ垂直方向に圧縮される。正面画像で、タイヤＴが路面と接地する部分を接地線という。接地線の両端点間の接地幅Ｌｃｘは、タイヤの空気圧や材質、構造が一定であれば、積載重量を含む車両の重量が大きくなるほど長くなる。これに伴って、タイヤＴの回転中心である回転軸位置ＯＲから路面までの距離Ｌｃｙや、タイヤの縦幅Ｌ２ｃｙも短くなる。すなわち、タイヤＴの形状は、底面が接地幅Ｌｃｘにわたって直線状になる接地線と、接地せずに変形が生じない円弧部分との組み合わせになる。したがって、接地部分を示すパラメータと円弧部分を示すパラメータとが得られれば、タイヤＴの形状が特定される。一方、リムＲは、車両の重量により真円形状から変形しないので、リム半径Ｌｒは、ｘ軸方向およびｙ軸方向のそれぞれについて変化しない。

【0065】

ここでは、過積載の有無を判定するために、タイヤＴの接地部分を示すパラメータとして接地幅Ｌｃｘが変形値とされ、タイヤＴの円弧部分を示すパラメータとしてタイヤＴの半径Ｌｔｈがタイヤ基準値とされ、変形値とタイヤ基準値との比が変形判定量とされる。車両の重量が大きくなるほど変形判定量が大きくなる。タイヤＴの変形判定量が、車両に対して定められた積載制限重量に対応する判定基準値を超過しているか否かが判別されることで、過積載の有無が判定される。車両に対して定められた積載制限重量は、その車両に対して予め定められた最大の重量である。

【0066】

なお、変形値とタイヤ基準値との組は、車重によって変化する値と、車重によって変化しない値との組が用いられれば、他の値の組み合わせが用いられてもよい。

【0067】

図７は、過積載検知処理の流れの一例を示すフローチャートである。過積載検知処理は、画像処理装置２０が備えるＣＰＵ２０１が、ＲＯＭ２０２、ＨＤＤ２０４またはＣＤ－ＲＯＭ２１１に記憶された画像処理プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図７を参照して、画像処理装置２０が備えるＣＰＵ２０１は、撮像装置１０を制御して、車両を被写体としてカメラ１１に車両を撮像させる（ステップＳ０１）。次のステップＳ０２においては、カメラ１１が車両を撮像して得られる撮像画像が撮像装置１０から取得され、処理はステップＳ０３に進む。そして、車両情報が検出される。撮像画像に含まれる車両のナンバープレートに記載された情報に基づいて、ＨＤＤ２０４に記憶された車両情報のうちから車両に対応する車両情報が取得される。

【0068】

ステップＳ０４においては、タイヤ部分抽出処理が実行され、処理はステップＳ０５に進む。タイヤ部分抽出処理の詳細は後述するが、撮像画像に含まれる車両のタイヤに対応する部分をタイヤ部分として、撮像画像から抽出する処理である。

【0069】

ステップＳ０５においては、車両が過積載か否かが判断される。ステップＳ０４にいて抽出されたタイヤ部分の外縁の形状と、車両情報とに基づいて、車両が過積載か否かが判断される。具体的には、タイヤ部分の外縁に基づいて、タイヤ部分の半径Ｌｔｈおよび接地幅Ｌｃｘから変形判定量が決定され、変形判定量が車両の積載制限重量に対応する判定基準値を超過しているか否かが判別される。変形判定量が判定基準値を超過している場合に、過積載と判断され、処理はステップＳ０６に進むが、そうでなければ処理は終了する。

【0070】

ステップＳ０６においては、警告が出力される。例えば、表示部２０６に、警告メッセージが表示される。また、警告音が発生されてもよい。さらに、車両の通行を妨げるように、ゲートが閉じられてもよい。

【0071】

図８は、タイヤ部分抽出処理の流れの一例を示すフローチャートである。タイヤ部分抽出処理は、過積載検知処理のステップＳ０４において実行される処理である。図８を参照して、ＣＰＵ２０１は、エッジ抽出処理を実行し（ステップＳ１１）、処理をステップＳ１２に進める。エッジ抽出処理の詳細は後述するが、スムージング処理、微分画像生成処理、２値化処理を含み、撮像画像をエッジ画像に変換する処理である。

【0072】

ステップＳ１２においては、ハフ変換が実行され、処理はステップＳ１３に進む。ステップＳ１１において生成されたエッジ画像を処理対象として、ハフ変換が実行される。

【0073】

ステップＳ１３においては、第１形状と第２形状との組が決定され、処理はステップＳ１４に進む。ステップＳ１２においてハフ変換が実行されることにより、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる候補と、撮像画像中に含まれるリム部分の外縁を含む円または楕円が特定されるので、中心座標の距離が所定の範囲内の第１の円または楕円と第２の円または楕円の組が決定される。さらに、中心座標の距離が所定範囲にある円または楕円が複数ある場合に、半径比率が所定の範囲にある２つの円または楕円の組が決定される。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する２つの円または楕円の組をより正確に抽出することができる。半径比率は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて決定される。中心座標の距離が所定の範囲の２つの円または楕円のうち、径の大きな第１の円または楕円が第１形状に決定され、径の小さな第２の円または楕円が第２形状に決定される。

【0074】

ステップＳ１４においては、撮像画像中のタイヤ部分が特定され、処理は過積載検知処理に戻る。具体的には、撮像画像中で、ステップＳ１３において抽出された第１形状および第２形状とで囲まれる部分がタイヤ部分に特定される。

【0075】

図９は、エッジ抽出処理の流れの一例を示すフローチャートである。エッジ抽出処理は、タイヤ部分抽出処理のステップＳ１１で実行される処理である。図９を参照して、ＣＰＵ２０１は、撮像画像にスムージング処理を実行し（ステップＳ２１）、処理をステップＳ２２に進める。ステップＳ２２においては、微分画像生成処理が実行され、処理はステップＳ２３に進む。スムージング処理された撮像画像を処理対象として、微分フィルタを用いて畳み込み演算されることにより微分画像が生成される。ステップＳ２３においては、２値化処理が実行され、処理はタイヤ部分抽出処理に戻る。

【0076】

＜第２の実施の形態＞
第２の実施の形態における過積載検知システム１において、画像処理装置２０は、撮像画像からタイヤ部分を抽出するために撮像画像に実行する第１画像処理と、撮像画像からリム部分を抽出するために撮像画像に実行する第２画像処理と、を異ならせるようにした。以下、第１の実施の形態における過積載検知システム１と異なる点が主に説明される。

【0077】

図１０は、第２の実施の形態における画像処理装置が備えるＣＰＵが有する機能の一例を示す図である。図１０に示す機能が図４に示した機能と異なる点は、エッジ画像生成部２６５、形状抽出部２６１および組検出部２６３がそれぞれエッジ画像生成部２６５Ａ、形状抽出部２６１Ａおよび組検出部２６３Ａに変更された点、エッジ画像から円または楕円を抽出する条件を決定する条件決定部２６７が追加された点である。その他の機能は、図４に示した機能と同じなので個々では説明を繰り返さない。

【0078】

エッジ画像生成部２６５Ａは、取得部２５１から入力される撮像画像を画像処理することによりエッジ画像を生成する。エッジ画像は、撮像画像に含まれるエッジを含む画像である。エッジ画像生成部２６５Ａは、撮像画像に第１画像処理を実行することにより第１エッジ画像を生成する第１処理部２８１と、撮像画像に第２画像処理を実行することにより第２エッジ画像を生成する第２処理部２８３とを含む。第１処理部２８１は、第１エッジ画像を形状抽出部２６１Ａに出力し、第２処理部２８３は、第２エッジ画像を形状抽出部２６１Ａに出力する。

【0079】

第１処理部２８１が実行する第１画像処理および第２処理部２８３が実行する第２画像処理それぞれは、撮像画像をスムージングするスムージング処理、スムージング処理された画像を微分した微分画像を生成する微分画像生成処理、微分画像を２値化する２値化処理と、を含む。

【0080】

第１画像処理と第２画像処理とは、異なる処理である。図１１は、第１画像処理および第２画像処理で用いられるパラメータの違いを示す図である。図１１を参照して第１画像処理におけるスムージング処理と第２画像処理におけるスムージング処理とは、スムージングの程度が異なる。第１画像処理におけるスムージング処理は、第２画像処理におけるスムージング処理よりもスムージングの程度が強い。スムージングは、隣接する画素の画素値の差を小さくする処理なので、スムージングの程度が強いほど撮像画像に含まれるノイズが減少する。逆に、スムージングの程度が低いほど撮像画像に含まれるノイズが減少しない。

【0081】

第１画像処理における２値化処理と第２画像処理における２値化処理とは、２値化の閾値が異なる。第１画像処理における２値化処理の閾値は、第２画像処理における２値化処理の閾値よりも低い。微分画像は、隣接する画素間における画素値の差を示す。このため、２値化処理の閾値を低くするほど、隣接する画素と画素値の差が小さい画素が抽出される。したがって、第１画像処理により、第２画像処理よりも画素値の変化の小さなエッジが検出される。逆に、２値化処理の閾値を高くするほど、隣接する画素と画素値の差が大きな画素が抽出される。したがって、第２画像処理により、第１画像処理よりも画素値の変化の大きなエッジが検出される。

【0082】

第１画像処理におけるスムージングの程度が第２画像処理におけるスムージングの程度よりも強いので、第１画像処理においてスムージング処理後の画像を微分して生成される第１微分画像は第２画像処理においてスムージング処理後の画像を微分して生成される第２微分画像よりもノイズが少なくなる。このため、第１画像処理における２値化の閾値が、第２画像処理における２値化の閾値をより低い値に設定されることが可能となる。その結果、第１画像処理により生成される第１微分画像からは撮像画像中で明度の変化の小さなエッジが抽出される。したがって、第１処理部２８１により第１微分画像が２値化処理された第１エッジ画像は、第２処理部２８３により第２微分画像が２値化処理された第２エッジ画像よりも明度の変化の小さなエッジを含む。

【0083】

また、第２画像処理により生成される第２微分画像は第１画像処理により生成される第１微分画像よりもノイズが多くなるが、第２画像処理における２値化の閾値が第１画像処理における２値化の閾値よりも高いので、ノイズが誤ってエッジとして検出されないようにできるとともに、第２画像処理により生成される第１微分画像からは撮像画像中で明度の変化の大きなエッジのみが抽出される。したがって、第２処理部２８３により生成される第２エッジ画像は、第１処理部２８１により生成される第１エッジ画像よりも明度の変化の大きなエッジを含む。

【0084】

撮像画像において、車両のタイヤは、タイヤの周辺の領域と明度の差が小さいことが多い。一方、車両のリムは周辺をタイヤで囲まれているので、リムと周辺のタイヤとの明度の差が大きいことが多い。このため、第１画像処理は、撮像画像から車両のタイヤの外縁に対応する部分を抽出するのに適した第１エッジ画像を生成し、第２画像処理は、撮像画像から車両のリムの外縁に対応する部分を抽出するのに適した第２エッジ画像を生成する。

【0085】

図１０に戻って、形状抽出部２６１Ａは、条件決定部２６７により決定された条件に従って、エッジ画像から円または楕円の形状を抽出する。形状抽出部２６１Ａは、第１処理部２８１から入力される第１エッジ画像から第１の円または楕円の形状を抽出する第１抽出部２７１と、第２処理部２８３から入力される第２エッジ画像から第２の円または楕円の形状を抽出する第２抽出部２７３と、を含む。

【0086】

条件決定部２６７は、第１設定部２８５と、第２設定部２８７と、を含む。第１設定部２８５は、車両情報に基づいて、撮像画像中で車両のタイヤの外縁に対応する部分を、第１抽出部２７１が第１の円または楕円として抽出するための第１抽出条件を設定する。具体的には、第１設定部２８５は、第１径情報と、ハフ変換における投票値の閾値と、を決定する。第１径情報は、撮像画像における車両のタイヤ部分の径から所定の範囲の径である。第１設定部２８５は、車両情報により定められる車両の基準となる部分の長さと車両のタイヤの径との比率から、撮像画像における車両のタイヤ部分の径を決定する。車両の基準となる部分は、撮像画像からの抽出が容易な部分として予め定めておけばよい。例えば、車両の基準となる部分は、車両の高さであってもよいし、車両の長さであってもよい。車両の基準となる部分を車両の高さとする場合、第１設定部２８５は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとタイヤの径との比率とから、撮像画像に含まれるタイヤ部分の径を決定する。第１設定部２８５は、第１径情報を、タイヤ部分の外縁に相当する第１の円または楕円を抽出するための条件として設定する。

【0087】

ハフ変換で画素ごとに投票される投票値は、円または楕円の半径が大きくなるほど多くなる。このため、条件決定部２６７は、第１径情報に応じた閾値を決定する。第１径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。第１設定部２８５は、第１径情報を、ハフ変換で抽出されるべき第１の円または楕円の径に設定し、径に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。

【0088】

ここで、楕円の中心は、楕円の長径と短径とが交わる点である。タイヤとカメラ１１との位置関係により、撮像画像中のタイヤ部分が円となる場合と、楕円になる場合がある。カメラ１１の光軸がタイヤの中心を通る車軸の方向と一致する場合に撮像画像中のタイヤ部分が円になり、カメラ１１の光軸がタイヤの中心を通る車軸の方向と交わる場合に楕円になる。カメラ１１の光軸をタイヤの中心を通る車軸と同じ高さとなるようにカメラ１１が設置される場合、カメラ１１の光軸とタイヤの中心を通る車軸とが水平方向で交わる。この場合、撮像画像中のタイヤ部分が楕円になるが、垂直方向の長さは変化しない。このため、楕円の径は長径とすればよい。

【0089】

第２設定部２８７は、車両情報に基づいて、撮像画像中で車両のリムの外縁に対応する部分を、第２抽出部２７３が第２の円または楕円として抽出するための第２抽出条件を設定する。具体的には、第２設定部２８７は、第２径情報と、ハフ変換における投票値の閾値と、を決定する。第２径情報は、撮像画像における車両のリム部分の径から所定の範囲の径である。第２設定部２８７は、車両情報により定められる車両の基準となる部分の長さと車両のリムの径との比率から、撮像画像における車両のリム部分の径を決定する。車両の基準となる部分を車両の高さとする場合、第２設定部２８７は、撮像画像に含まれる車両の部分の高さと、車両情報で定められる車両の高さとリムの径との比率とから、撮像画像に含まれるリム部分の径を決定する。第２設定部２８７は、第２径情報を、ハフ変換で抽出されるべき第２の円または楕円の径に設定し、第２径情報に対して決定される閾値をハフ変換で判定に用いる閾値に設定する。第２径情報と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定される。撮像画像における車両のリム部分の径と閾値との関係を予め定めたテーブルまたは演算式を用いて、閾値が決定されてもよい。

【0090】

なお、第１設定部２８５が撮像画像に含まれるタイヤ部分の径に応じた閾値を補正し、第２設定部２８７が撮像画像に含まれるリム部分の径に応じた閾値を補正してもよい。撮像画像中のタイヤ部分にタイヤの外縁のすべてが含まれるとは限られず、同様に、撮像画像中のリム部分にリムの外縁のすべてが含まれるとは限られない。このため、実験等により求められる補正値を用いて閾値が補正されてもよい。補正値は、スムージング処理の程度および２値化処理の閾値に基づいて定めるのが好ましい。

【0091】

図１２は、第１抽出条件と第２抽出条件との一例を示す図である。図１２を参照して、第１抽出条件は、円または楕円の半径が第２抽出条件よりも大きく、閾値は第２抽出条件よりも小さい。

【0092】

図１０に戻って、形状抽出部２６１Ａは、第１抽出部２７１と、第２抽出部２７３と、を含む。第１抽出部２７１は、第１設定部２８５により設定された第１抽出条件に従って、第１処理部２８１から入力される第１エッジ画像をハフ変換することにより、第１の円または楕円を抽出する。第１抽出条件は、被写体である車両のタイヤに対応するタイヤ部分を撮像画像から抽出するための値なので、第１の円または楕円は、撮像画像に含まれるタイヤ部分の外縁の候補として抽出される。第１の円または楕円は、複数が抽出される場合がある。第１抽出部２７１は、第１の円または楕円の中心座標と半径との組を特定部２５５に出力する。

【0093】

第２抽出部２７３は、第２設定部２８７により設定された第２抽出条件に従って、第２処理部２８３から入力される第２エッジ画像をハフ変換することにより、第２の円または楕円を抽出する。第２抽出条件は、被写体である車両のリムに対応するリム部分を撮像画像から抽出するための値なので、第２の円または楕円は、撮像画像に含まれるリム部分の外縁の候補として抽出される。第２の円または楕円は、複数が抽出される場合がある。第２抽出部２７３は、第２の円または楕円の中心座標と半径との組を特定部２５５に出力する。

【0094】

組検出部２６３Ａは、第１抽出部２７１から１以上の第１の円または楕円が入力され、第２抽出部２７３から１以上の第２の円または楕円が入力される。組検出部２６３Ａは、１以上の第１の円または楕円と１以上の第２の円または楕円とから中心座標が所定範囲にある第１の円または楕円と第２の円または楕円との組を検出する。タイヤの回転軸とリムの回転軸は一致する。このため、組検出部２６３によって検出される組に含まれる第１の円または楕円はタイヤ部分の外縁に相当し、第２の円または楕円はリム部分の外縁に相当する。

【0095】

組検出部２６３Ａは、第１抽出部２７１から第１の円または楕円の中心座標と半径との組の１以上が入力され、第２抽出部２７３から第２の円または楕円の中心座標と半径との組の１以上が入力される。具体的には、組検出部２６３Ａは、中心座標が所定の範囲内となる第１の円または楕円と、第２の円または楕円との組を対象組に決定する。中心座標が所定の範囲内となる第１の円または楕円と第２の円または楕円との組が複数の場合、組検出部２６３Ａは、半径比率が所定範囲にある２つの円または楕円の組を決定する。タイヤとリムとの半径比率は車両によって定まるので、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する２つの円または楕円の組をより正確に抽出することができる。組検出部２６３Ａは、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて、半径比率を決定する。このため、半径比率が正確に決定される。

【0096】

第２の実施の形態における画像処理装置において、図７に示した過積載検知処理が実行される。図１３は、第２の実施の形態におけるタイヤ部分抽出処理の流れの一例を示すフローチャートである。タイヤ部分抽出処理は、過積載検知処理のステップＳ０４において実行される処理である。図１３を参照して、ＣＰＵ２０１は、第１条件を決定する（ステップＳ３１）。第１条件は、撮像画像中に含まれるタイヤ部分の外縁を検出するために定められる条件である。第１条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび２値化処理の閾値を定めるパラメータを含む。ハフ変換に用いられるパラメータは、円または楕円の径および投票値と比較される閾値を含む。また、閾値を補正するための補正値が決定されてもよい。

【0097】

ステップＳ３２においては、第１エッジ抽出処理が実行され、処理はステップＳ３３に進む。ステップＳ３２においては、ステップＳ３１において第１条件として決定された画像処理のパラメータを用いて、図９に示されるエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、２値化処理を含み、撮像画像を第１エッジ画像に変換する処理である。

【0098】

ステップＳ３３においては、第１ハフ変換が実行され、処理はステップＳ３４に進む。ステップＳ３２において生成された第１エッジ画像を処理対象として、ステップＳ３１で第１条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。

【0099】

ステップＳ３４においては、第１形状が抽出される。ステップＳ３３においてハフ変換が実行されることにより、撮像画像中に含まれるタイヤ部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第１形状が抽出される。タイヤ部分の外縁が抽出の対象となり、タイヤが地面接触する部分は水平方向の直線となるので、撮像画像中のエッジのうち特定された円または楕円と重なるエッジと、特定された円または楕円の最下点近傍で、最下点よりも上方に位置する水平方向のエッジと、で構成される形状が第１形状として抽出される。

【0100】

ステップＳ３５においては、第２条件が決定される。第２条件は、撮像画像中に含まれるリム部分の外縁を検出するために定められる条件である。第２条件は、画像処理のパラメータと、ハフ変換に用いられるパラメータとを含む。画像処理のパラメータは、スムージング処理の程度を定めるパラメータおよび２値化処理の閾値を定めるパラメータを含む。第２条件に含まれるスムージング処理のパラメータは、第１条件におけるパラメータよりもスムージングの程度が低いパラメータである。第２条件に含まれる２値化処理のパラメータは、第１条件におけるパラメータよりも２値化の程度が高いパラメータ、換言すれば値が大きなパラメータである。

【0101】

ステップＳ３６においては、第２エッジ抽出処理が実行され、処理はステップＳ３７に進む。ステップＳ３６においては、ステップＳ３５において第２条件として決定された画像処理のパラメータを用いて、図９に示されるエッジ抽出処理が実行される。エッジ抽出処理は、スムージング処理、微分画像生成処理、２値化処理を含み、撮像画像を第２エッジ画像に変換する処理である。

【0102】

ステップＳ３７においては、第２ハフ変換が実行され、処理はステップＳ３８に進む。ステップＳ３６において生成された第２エッジ画像を処理対象として、ステップＳ３５において第２条件として決定されたハフ変換に用いられるパラメータを用いて、ハフ変換が実行される。

【0103】

ステップＳ３８においては、第２形状が抽出され、処理はステップＳ１３に進む。ハフ変換が実行されることにより、撮像画像中に含まれるリム部分の外縁を一部に含む円または楕円となる候補が特定されるので、撮像画像中で、特定された円または楕円内の領域に含まれるエッジに基づいて、第２形状が抽出される。リムの外縁が抽出の対象となるので、特定された円または楕円と重なるエッジで構成される形状が第２形状として抽出される。

【0104】

ステップＳ１３においては、第１形状と第２形状との組が決定され、処理はステップＳ１４に進む。ステップＳ３４において抽出された第１形状と、ステップＳ３８において抽出された第２形状のうち、中心座標の距離が所定の範囲内の第１形状と第２形状の組が決定される。さらに、中心座標の距離が所定範囲にある第１形状と第２形状の組が複数ある場合に、半径比率が所定の範囲にある第１形状と第２形状の組が決定される。したがって、車両が特定される場合にタイヤ部分の外縁とリム部分の外縁とにそれぞれ対応する第１形状と第２形状の組をより正確に抽出することができる。半径比率は、車両情報で定められるタイヤおよびリムそれぞれの半径に基づいて決定される。

【0105】

ステップＳ１４においては、撮像画像中のタイヤ部分が特定され、処理は過積載検知処理に戻る。具体的には、撮像画像中で、ステップＳ１３において抽出された第１形状および第２形状とで囲まれる部分がタイヤ部分に特定される。

【0106】

以上説明したように第１の実施の形態における過積載検知システム１において、画像処理装置２０は、車両の側方を撮影して得られる撮像画像を取得する取得部２５１と、撮像画像に含まれるエッジをハフ変換することにより円または楕円を抽出する形状抽出部２６１と、抽出された複数の円または楕円のうちから中心座標間の距離の差が閾値以下となる２つの円または楕円の組を決定する組検出部２６３と、組に決定された２つの円または楕円に基づいて撮像画像における車両のタイヤに対応するタイヤ部分を特定する特定部２５５と、を備える。タイヤは、車両に装着されるリムに装着される。タイヤとリムとは回転中心が同じなので、タイヤの輪郭とリムの輪郭とは撮像画像中に中心座標間の距離が閾値以下となる２つの円または楕円として表される。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することができる。

【0107】

また、画像処理装置２０は、半径比率が所定範囲にある２つの円または楕円の組を決定する。タイヤとリムとの半径比率は車両によって定まるので、車両が特定される場合にタイヤ部分をより正確に抽出することができる。

【0108】

特に、所定範囲は、車両に装着されたタイヤとリムそれぞれの半径に基づき定められる。このため、タイヤとリムそれぞれの半径は車両によって定まるので、車両が特定される場合にタイヤ部分をより正確に抽出することができる。

【0109】

さらに、画像処理装置２０は、撮像画像中で特定されたタイヤ部分に基づいて車両が過積載か否かを判断する。このため、撮像画像から容易に車両の過積載を判断することができる。

【0110】

第２の実施の形態における画像処理装置２０は、第１の実施の形態における画像処理装置２０に加えて、撮像画像に第１画像処理を実行する第１処理部２８１と、撮像画像に第１画像処理と異なる第２画像処理を実行する第２処理部２８３と、をさらに備え、第１画像処理が実行された第１画像に含まれるエッジをハフ変換することにより第１の円または楕円を抽出し、第２画像処理が実行された第２画像に含まれるエッジをハフ変換することにより第２の円または楕円を抽出し、第１の円または楕円と第２の円または楕円との組を決定する。第１画像処理と第２画像処理とは異なるので、撮像画像に第１画像処理が実行された画像から抽出されるエッジと撮像画像に第２画像処理が実行された画像から抽出されるエッジとは、同じエッジもあれば異なるエッジもある。第１画像処理を撮像画像中で車両のタイヤの輪郭に対応する部分がエッジとして現れやすい処理とすれば、タイヤの輪郭に対応する部分を含む第１の円または楕円が抽出され易くなる。また、第２画像処理を撮像画像中で車両のリムの輪郭に対応する部分がエッジとして現れやすい処理とすれば、リムの輪郭に対応する部分を含む第２の円または楕円が抽出され易くなる。このため、車両を撮像して得られる撮像画像から車両のタイヤに対応するタイヤ部分を正確に抽出することができる。

【0111】

また、第２の実施の形態における画像処理装置２０が実行する画像処理において、第１画像処理に含まれるスムージング処理におけるスムージングの程度が第２画像処理に含まれるスムージング処理におけるスムージングの程度よりも大きく、第１画像処理に含まれる２値化処理における２値化の閾値が第２画像処理に含まれる２値化処理における２値化の閾値よりも小さい。このため、第１画像処理により生成される微分画像は第２画像処理により生成される微分画像よりもノイズが少なくなり、第１画像処理により生成される微分画像からは撮像画像中で明度の変化の小さなエッジを抽出することができる。この際に、第１画像処理により生成される微分画像は第２画像処理により生成される微分画像よりもノイズが少ないので、ノイズが誤ってエッジとして検出されないようにできる。また、第２画像処理により生成される微分画像は第１画像処理により生成される微分画像よりもノイズが多くなるが、第２画像処理における２値化の閾値が第１画像処理における２値化の閾値よりも大きいので、ノイズが誤ってエッジとして検出されないようにできるとともに、第２画像処理により生成される微分画像からは撮像画像中で明度の変化の大きなエッジのみを抽出することができる。

【0112】

また、第２の実施の形態における画像処理装置２０が実行する画像処理において、スムージング処理に代えてまたはそれに加えて縮小処理としてもよい。

【0113】

また、第１および第２の実施の形態における画像処理装置２０は、車両に装着されたタイヤのサイズに基づき定められる第１径情報を第１条件として設定し、車両に装着されたリムのサイズに基づき定められる第２径情報を第２条件として設定する。このため、タイヤの外縁に相当する部分が第１の円または楕円として抽出されるようにでき、リムの外縁に相当する部分が第２の円または楕円として抽出されるようにできる。

【0114】

また、第１および第２の実施の形態における画像処理装置２０は、ハフ変換における投票結果と比較される閾値として第１径情報により定まる第１閾値を第１条件として設定し、ハフ変換における投票結果と比較される閾値として第２径情報により定まる第２閾値を第２条件として設定する。このため、タイヤの外縁の径に対応する第１の円または楕円と、リムの外縁の径に対応する第２の円または楕円とを、撮像画像から抽出することができる。

【0115】

なお、本実施の形態においては、カメラ１１が可視光を光電変換して得られる撮像画像を出力する例を示すが、赤外光を光電変換して得られる撮像画像を出力するようにしてもよい。車両が走行するとタイヤの温度が上昇するので、撮像画像から赤外光が所定値以上検出される部分を抽出することにより、タイヤ部分を特定し易くなる。

【0116】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0117】

１ 過積載検知システム、１０ 撮像装置、１１ カメラ、１２ 制御部、１３ 記憶部、１４ 通信部、２０ 画像処理装置、２３ 通信部、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ ＨＤＤ、２０５ 通信部、２０６ 表示部、２０７ 操作部、２１０ 外部記憶装置、２１１ ＣＤ－ＲＯＭ、２５１ 取得部、２５３ 車両情報検出部、２５５ 特定部、２５７ 判断部、２５９ 出力部、２６１，２６１Ａ 形状抽出部、２６３，２６３Ａ 組検出部、２６５，２６５Ａ エッジ画像生成部、２６７ 条件決定部、２７１ 第１抽出部、２７３ 第２抽出部、２８１ 第１処理部、２８３ 第２処理部、２８５ 第１設定部、２８７ 第２設定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】