特開 2024-139946 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139946

(43)【公開日】2024-10-10

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06V 20/59 20220101AFI20241003BHJP

   G08G 1/16 20060101ALI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

   B60W 40/08 20120101ALN20241003BHJP

【ＦＩ】

G06V20/59

G08G1/16 F

G06T7/00 660A

B60W40/08

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023050902

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】伊森 宏樹

(72)【発明者】

【氏名】伏見 文孝

(72)【発明者】

【氏名】大西 康司

(72)【発明者】

【氏名】塩田 大輔

(72)【発明者】

【氏名】清水 勝也

(72)【発明者】

【氏名】上林 輝彦

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA00

3D241CE05

3D241DD02Z

5H181AA01

5H181CC04

5H181CC27

5H181LL07

5H181LL08

5H181LL20

5L096AA06

5L096BA04

5L096CA04

5L096FA16

5L096FA64

5L096FA69

5L096GA51

5L096HA11

(57)【要約】

【課題】画像処理による通話運転の検出精度を向上させること。
【解決手段】本発明に係る画像処理装置は、車両の運転者を撮影した画像データから前記運転者が携帯端末を持って通話する通話運転を検出するコントローラを有する画像処理装置であって、コントローラは、画像データから運転者の顔領域を検出し、検出した顔領域の位置と大きさとに応じて、携帯端末の判定領域と、携帯端末の検知サイズとを設定し、設定した判定領域から検知サイズを満たす携帯端末を検知した場合に、通話運転として検出する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の運転者を撮影した画像データから前記運転者が携帯端末を持って通話する通話運転を検出するコントローラを有する画像処理装置であって、
前記コントローラは、
前記画像データから前記運転者の顔領域を検出し、
検出した前記顔領域の位置と大きさとに応じて、前記携帯端末の判定領域と、前記携帯端末の検知サイズとを設定し、
設定した前記判定領域から前記検知サイズを満たす前記携帯端末を検知した場合に、前記通話運転として検出する、
画像処理装置。

【請求項2】

前記コントローラは、
前記顔領域を縦方向に拡張した領域を前記判定領域として設定する、
請求項１に記載の画像処理装置。

【請求項3】

前記コントローラは、
前記顔領域を横方向に拡張した領域を前記判定領域として設定する、
請求項１に記載の画像処理装置。

【請求項4】

前記コントローラは、
前記画像データから前記携帯端末を検知した領域のすべてが前記判定領域に含まれる場合に、前記通話運転として検出する、
請求項１に記載の画像処理装置。

【請求項5】

前記コントローラは、
前記画像データから前記携帯端末を検知した領域の上端が、前記顔領域の下端よりも画像平面の上下方向において上側にある場合に、前記通話運転として検出する、
請求項１に記載の画像処理装置。

【請求項6】

前記コントローラは、
前記顔領域の横幅に対する前記携帯端末を検知した領域の横幅の比率が閾値以下である場合に、前記通話運転として検出する、
請求項１に記載の画像処理装置。

【請求項7】

前記コントローラは、
前記顔領域の縦幅に対する前記携帯端末を検知した領域の縦幅の比率が閾値以上である場合に、前記通話運転として検出する、
請求項１に記載の画像処理装置。

【請求項8】

車両の運転者を撮影した画像データから前記運転者が携帯端末を持って通話する通話運転をコントローラが検出する画像処理方法であって、
前記画像データから前記運転者の顔領域を検出し、
検出した前記顔領域の位置と大きさとに応じて、前記携帯端末の判定領域と、前記携帯端末の検知サイズとを設定し、
設定した前記判定領域から前記検知サイズを満たす前記携帯端末を検知した場合に、前記通話運転として検出する、
画像処理方法。

【請求項9】

車両の運転者を撮影した画像データから前記運転者が携帯端末を持って通話する通話運転を判定する画像処理プログラムであって、
前記画像データから前記運転者の顔領域を検出することと、
検出した前記顔領域の位置と大きさとに応じて、前記携帯端末の判定領域と、前記携帯端末の検知サイズとを設定することと、
設定した前記判定領域から前記検知サイズを満たす前記携帯端末を検知した場合に、前記通話運転として検出することと、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

従来、車両の運転者を撮影した画像データを解析し、運転者が携帯端末で通話しながら運転する通話運転を検出する技術がある。特許文献１には、運転者を撮影した画像データから運転者の手を検出し、検出した手の近傍で携帯端末を検知した場合に、通話運転として検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－２４９４７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、画像処理による通話運転の検出精度を向上させる点において改善の余地があった。具体的には、特許文献１の技術では、運転者の手を検出できない場合には、通話運転を検出することができない。

【0005】

本発明は、上記に鑑みてなされたものであって、画像処理による通話運転の検出精度を向上させることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、車両の運転者を撮影した画像データから前記運転者が携帯端末を持って通話する通話運転を検出するコントローラを有する画像処理装置であって、前記コントローラは、前記画像データから前記運転者の顔領域を検出し、検出した前記顔領域の位置と大きさとに応じて、前記携帯端末の判定領域と、前記携帯端末の検知サイズとを設定し、設定した前記判定領域から前記検知サイズを満たす前記携帯端末を検知した場合に、前記通話運転として検出する。

【発明の効果】

【0007】

本発明によれば、画像処理による通話運転の検出精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、画像処理装置の搭載例を示す図である。

【図2】図２は、画像処理装置のブロック図である。

【図3】図３は、判定領域の一例を示す模式図である。

【図4】図４は、通話運転の検出条件の一例を示す図である。

【図5】図５は、通話運転の検出条件の一例を示す図である。

【図6】図６は、通話運転の検出条件の一例を示す図である。

【図7】図７は、通話運転の検出条件の一例を示す図である。

【図8】図８は、検知範囲の一例を示す図である。

【図9】図９は、画像処理装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１を用いて、実施形態に係る画像処理装置１０の搭載例について説明する。図１は、画像処理装置１０の搭載例を示す図である。図１に示すように、画像処理装置１０は、たとえば、車両Ｖに搭載されるドライブレコーダである。

【0011】

画像処理装置１０は、車両Ｖの室内（運転者）を撮影するカメラによって撮影された画像データを解析する。本実施形態において、画像処理装置１０は、車両Ｖの運転者を撮影した画像データから運転者が携帯端末Ｔを持って通話する通話運転（以下、単に「通話運転」と記載）を検出する。なお、図１では、携帯端末Ｔがスマートフォンである場合について例示しているが、携帯端末Ｔは、タブレット端末、携帯電話など、道路交通法によって運転中の使用が規制された各種機器を含む。

【0012】

ところで、車両の運転者を撮影した画像データから通話運転を検出する技術が提案されている。従来技術では、運転者の顔や手を検出し、検出した顔や手の周辺で携帯端末を検出した場合に、通話運転として検出する。

【0013】

しかしながら、従来技術では、運転者の手を検知できない場合に、通話運転を検出することができない。また、上記従来技術では、運転者の手を検知し、さらに、後部座席で操作中の携帯端末を検知した場合、通話運転として検出するおそれもある。

【0014】

このように、従来技術では、画像処理による通話運転の検出精度を向上させるうえで改善の余地があった。これに対し、実施形態に係る画像処理装置１０は、運転者の顔領域を基に通話運転の検出条件を設定する。

【0015】

詳細については後述するが、画像処理装置１０は、顔領域を拡張した拡張領域内で携帯端末Ｔを検知し、検知した携帯端末Ｔを位置およびサイズに関する複数の条件で絞り込み、各条件を満たす携帯端末Ｔを検出した場合に通話運転として検出する。なお、検出条件の具体例については、図４～７を用いて後述する。

【0016】

次に、図２を用いて、実施形態に係る画像処理装置１０の構成例について説明する。図２は、画像処理装置１０のブロック図である。図２に示すように、画像処理装置１０は、記憶部１１と、制御部１２とを備える。また、画像処理装置１０は、カメラ２１と、車両センサ２２と、報知装置２３とが接続される。

【0017】

カメラ２１は、車両Ｖに搭載され、車両Ｖの車内を撮影するカメラである。カメラ２１は、運転者を撮影する。なお、カメラ２１は、たとえば、ドライブレコーダにおいて車両Ｖの車内を撮影するカメラであるが、スピードメーター等、運転者の前方に取り付けられ、運転者を撮影可能なカメラであってもよい。

【0018】

車両センサ２２は、車両Ｖに搭載された各種センサである。車両センサ２２は、車速センサ、アクセルセンサ、ブレーキセンサ、舵角センサ、Ｇセンサ等を含み、車両Ｖの走行状態に関するセンサデータを画像処理装置１０に対し出力する。

【0019】

上述のように、画像処理装置１０は、通話運転を検出するため、車両センサ２２は、車両Ｖが走行中か停車中かを判別するためのセンサデータを画像処理装置１０に対し出力する。

【0020】

報知装置２３は、たとえば、車載ディスプレイや、スピーカによって構成される。報知装置２３は、画像処理装置１０により通話運転が検出された場合に、音あるいは画像にて運転者に対して警告を行う。

【0021】

画像処理装置１０は、車両Ｖに搭載されるコンピュータであり、カメラ２１によって撮影された画像データを解析し、通話運転を検出する装置である。

【0022】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１１は、顔認識ＡＩ（Artificial Intelligence）、端末認識ＡＩ、通話運転の各種検出条件に関する各種パラメータ情報を記憶する。

【0023】

顔認識ＡＩは、画像認識用のＡＩモデルであり、機械学習のアルゴリズムを用いて学習されたＤＮＮモデル等である。顔認識ＡＩは、画像データから運転者の顔領域を認識するように学習されたモデルである。

【0024】

端末認識ＡＩは、画像認識用のＡＩモデルであり、機械学習のアルゴリズムを用いて学習されたＤＮＮモデル等である。端末認識ＡＩは、画像データから携帯端末Ｔを認識するように学習されたモデルである。本実施形態において、端末認識ＡＩは、手で携帯端末Ｔを持った画像データを学習データとして学習したＡＩモデルである。

【0025】

各種パラメータ情報は、通話運転を検出する際に利用される各種のパラメータに関する情報である。なお、処理パラメータ情報の具体例については、図３～７等を用いて後述する。

【0026】

制御部１２は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている実施形態に係る画像処理プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0027】

制御部１２は、カメラ２１によって撮影された画像データから通話運転を検出するための各種処理を実行する。制御部１２は、カメラ２１によって撮像されたカメラ画像を取得し、カメラ画像を顔認識ＡＩへ入力し、顔認識ＡＩから出力される運転者の顔領域を取得する。顔領域は、矩形領域として抽出された運転者の顔を含む領域である。

【0028】

つづいて、制御部１２は、顔領域の認識結果に基づいて、携帯端末Ｔの判定領域および携帯端末Ｔの検知サイズを設定し、設定した判定領域から検知サイズを満たす携帯端末Ｔを検知した場合に、通話運転として検知する。

【0029】

ここで、図３を用いて、判定領域について説明する。図３は、判定領域の一例を示す模式図である。図３に示すように、判定領域ｂａは、顔領域ｂｂを拡張した領域である。

【0030】

図３に示すように、判定領域ｂａは、顔領域ｂｂの横幅ｗを基準として、左右方向にそれぞれ横幅ｗの０．５倍分を拡張した領域であり、顔領域ｂｂの縦幅ｈを基準として、上方向に縦幅ｈの０．５倍分、下方向に縦幅ｈの０．７倍分を拡張した領域である。

【0031】

このように、顔領域ｂｂを基に顔領域ｂｂを拡張した領域を判定領域ｂａとして設定することで、通話運転時の携帯端末Ｔの検知漏れを抑制することができる。特に、制御部１２は、判定領域ｂａを広く下方向に拡張することで、運転者が胸の前で携帯端末Ｔを持って行う通話、たとえば、運転者がスマートフォンを顔の前方にもってスマートフォンのマイクに向かって喋る通話を検知することができる。

【0032】

制御部１２は、判定領域ｂａの設定を終えると、携帯端末Ｔの検知位置および検知サイズに関する検知条件を設定する。まず制御部１２は、判定領域ｂａの画像データを端末認識ＡＩに入力し、端末認識ＡＩから出力される携帯端末Ｔの認識結果を取得する。

【0033】

そして、制御部１２は、端末認識ＡＩから出力される携帯端末Ｔの認識結果が、以下に示す検出条件を満たす場合に、通話運転として検出する。なお、図４に示す判定領域ｂａと顔領域ｂｂの縮尺関係は一例であり、これに限定されるものではない。

【0034】

次に、図４～７を用いて、通話運転の検出条件の具体例について説明する。図４～図７は、通話運転の検出条件の一例を示す図である。まず、図４および図５を用いて、携帯端末Ｔとして検知された検知領域の検知位置に関する検出条件について説明する。

【0035】

図４には、端末認識ＡＩによって携帯端末Ｔとして検知された検知領域を端末領域ｔａ１および端末領域ｔａ２として示す。なお、以下では、端末領域ｔａ１および端末領域ｔａ２を区別しない場合、「端末領域ｔａ」と記載する。

【0036】

図４に示す検出条件では、制御部１２は、すべてが判定領域ｂａに含まれる端末領域ｔａを抽出する。図４の例では、端末領域ｔａ１はすべて判定領域ｂａに含まれる一方、端末領域ｔａ２はその一部が判定領域ｂａからはみ出している。

【0037】

そのため、制御部１２は、端末領域ｔａ１を検出条件に該当する携帯端末Ｔとして検知し、端末領域ｔａ２を検出条件に該当する携帯端末Ｔとして検知しない（図中、未検知）。すなわち、制御部１２は、この段階で、端末領域ｔａ２を通話運転の検出対象から除外する。

【0038】

このように、制御部１２は、すべての領域が判定領域ｂａに含まれる端末領域ｔａ１を検知することによって、顔領域ｂｂから離れた通話に関与しない携帯端末Ｔを除外することができる。

【0039】

つづいて、図５に示すように、制御部１２は、端末領域ｔａの上端と、顔領域ｂｂの下端ｂｂｂとを比較する。具体的には、制御部１２は、端末領域ｔａの上端が顔領域ｂｂの下端ｂｂｂよりも上側にある端末領域ｔａを検出条件に該当する携帯端末Ｔとして検知する。また、制御部１２は、端末領域ｔａの上端が顔領域ｂｂの下端ｂｂｂよりも下側にある端末領域ｔａを検出条件に該当する携帯端末Ｔとして検知しない（図中、未検知）。

【0040】

図５に示す例では、端末領域ｔａ１の上端ｔａｐ１は、顔領域ｂｂの下端ｂｂｂよりも上側にあり、端末領域ｔａ２の上端ｔａｐ２は、顔領域ｂｂの下端ｂｂｂよりも下側にある。

【0041】

そのため、制御部１２は、端末領域ｔａ１を検出条件に該当する携帯端末Ｔとして検知し、端末領域ｔａ２を検出条件に該当する携帯端末Ｔとして検知しない。これは、たとえばシートベルトを端末領域ｔａとして誤検知しないよう、シートベルトを検出条件によって除外するためである。

【0042】

すなわち、制御部１２は、端末領域ｔａの上端と顔領域ｂｂの下端ｂｂｂとの比較結果に基づいて、端末領域ｔａを選別することによって、シートベルトを端末領域ｔａとして誤検知した場合における通話運転の誤検出を抑制することができる。

【0043】

次に、図６および図７を用いて、検知サイズに関する通話運転の検出条件について説明する。図６では、検知サイズのうち、端末領域ｔａの横幅に関する検出条件について説明し、図７では、端末領域ｔａの縦幅に関する検出条件について説明する。

【0044】

図６に示すように、制御部１２は、顔領域ｂｂの横幅ｗａに対する端末領域ｔａの横幅の割合と閾値とを比較する。なお、ここでの閾値ｔｈは、たとえば、５０％であるが、これに限定されるものではない。具体的には、制御部１２は、顔領域ｂｂの横幅ｗａに対する端末領域ｔａの横幅の比率が閾値ｔｈを超えるか否かを判定し、かかる比率が閾値ｔｈ未満である場合に、検出条件に該当する携帯端末Ｔとして検知する。

【0045】

図６に示す例では、端末領域ｔａ１の横幅ｗ１、端末領域ｔａ２の横幅ｗ２とした場合に、「ｗａ」、「ｗ１」、「ｗ２」および「ｔｈ」の関係は、「ｗ１／ｗａ＜ｔｈ」、「ｗ２／ｗａ≧ｔｈ」である。そのため、制御部１２は、端末領域ｔａ１については検出条件を満たす端末領域ｔａとして検知し、端末領域ｔａ２については検出条件を満たす端末領域ｔａとして検知しない。

【0046】

これは、たとえば、窓枠や手などの携帯端末Ｔ以外のものが判定領域ｂａ内で端末領域ｔａとして検知された場合に、通話運転の検出対象から除外するためである。そのため、制御部１２は、端末領域ｔａの横幅および顔領域ｂｂの横幅ｗａに基づいて、端末領域ｔａを選別することによって、窓枠や手を端末領域ｔａとして誤検知することを抑制できる。

【0047】

次に、図７に示すように、制御部１２は、端末領域ｔａの縦幅と、顔領域ｂｂの縦幅ｈａとを比較する。具体的には、制御部１２は、顔領域ｂｂの縦幅ｈａに対する端末領域ｔａの縦幅の比率が閾値ｔｈを超えるか否かを判定し、かかる比率が閾値ｔｈ以上である場合に、検出条件に該当する携帯端末Ｔとして検知する。なお、ここでの閾値ｔｈは、たとえば、２５％であるが、これに限定されるものではない。

【0048】

図７に示す例では、端末領域ｔａ１の縦幅ｈ１、端末領域ｔａ２の縦幅ｈ２とした場合に、「ｈａ」、「ｈ１」、「ｈ２」および「ｔｈ」の関係は、「ｈ１／ｈａ≧ｔｈ」、「ｈ２／ｈａ＜ｔｈ」である。そのため、制御部１２は、端末領域ｔａ１については検出条件を満たす端末領域ｔａとして検知し、端末領域ｔａ２については検出条件を満たす端末領域ｔａとして検知しない。

【0049】

これは、たとえば、後部座席の乗員が扱っている携帯端末Ｔが画像データで運転者の顔の近くに写り込む場合に、検知される端末領域ｔａを通話運転の検出対象から除外するためである。すなわち、カメラ２１は、車両Ｖの前方から車内を撮影するため、後部座席の乗員の携帯端末Ｔは、運転者が自身で操作している場合の携帯端末Ｔに比べて小さく写ることになる。

【0050】

そのため、制御部１２は、顔領域ｂｂの縦幅ｈａに対する端末領域ｔａの縦幅の割合に基づいて端末領域ｔａの絞り込むことで、後部座席の乗員の携帯端末Ｔに基づいて、通話運転として検出する誤検出を抑制することができる。

【0051】

そして、制御部１２は、上述したすべての検出条件を満たす端末領域ｔａを検出した場合に、通話運転として検出する。具体的には、制御部１２は、端末領域ｔａのすべてが判定領域ｂａに含まれ、かつ、端末領域ｔａの上端が顔領域ｂｂの下端よりも上側にある場合に、検知位置に関する検出条件を満たすと判定する。

【0052】

また、制御部１２は、顔領域ｂｂの横幅に対する端末領域ｔａの横幅の比率が閾値未満であり、かつ、顔領域ｂｂの縦幅に対する端末領域ｔａの縦幅の比率が閾値以上である場合に、検知サイズに関する検出条件を満たすと判定する。

【0053】

このように、制御部１２は、顔領域ｂｂに基づいて設定した検知位置および検知サイズに関する各検出条件を満たす端末領域ｔａを検出した場合に、通話運転として検出する。

【0054】

これにより、制御部１２は、誤検知された携帯端末Ｔ以外の端末領域ｔａを各検出条件によって除外することができるので、画像処理による通話運転の検出精度を向上させることができる。

【0055】

そして、制御部１２は、通話運転を検出した場合に、報知装置２３（図２参照）を通じて、運転者に対して警告を行う。これにより、画像処理装置１０は、運転者による通話運転を控えさせることができる。

【0056】

ところで、制御部１２は、過去の端末領域ｔａの検知結果に基づいて、携帯端末Ｔの検知範囲を設定することも可能である。ここで、図８を用いて、検知範囲の具体例について説明する。

【0057】

図８は、検知範囲の一例を示す図である。図８に示すように、制御部１２は、判定領域ｂａを左右方向に分割し、左領域ｂａｌおよび右領域ｂａｒのいずれかの領域を検知範囲として設定する。

【0058】

具体的には、制御部１２は、前フレームまでに左領域ｂａｌで通話運転の検出条件を満たす端末領域ｔａが検知されていた場合、左領域ｂａｌを検知範囲に設定する。また、制御部１２は、前フレームまでに右領域ｂａｒで通話運転の検出条件を満たす端末領域ｔａが検知されていた場合、右領域ｂａｒを検知範囲に設定する。

【0059】

たとえば、制御部１２は、検知範囲の設定後においては、検知範囲以外の範囲については携帯端末Ｔの検知対象から除外する。つまり、制御部１２は、検知範囲のみについて通話運転の検出に関する各種処理を実行する。

【0060】

このように、制御部１２は、検知範囲を半分にすることで、処理時間や処理負荷を低減することができる。なお、ここでは、検知範囲を左右方向に２分割した場合を例示しているが、これに限定されるものではない。たとえば、制御部１２は、検知範囲を左右方向に３分割以上にしてもよく、さらに、上下方向に分割するようにしてもよい。

【0061】

次に、図９を用いて、実施形態に係る画像処理装置１０が実行する処理手順について説明する。図９は、画像処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理は、車両Ｖの走行中に制御部１２によって繰り返し実行される。

【0062】

図９に示すように、まず、制御部１２は、運転者を撮影した画像データを取得すると（ステップＳ１０１）、顔認識ＡＩにより画像データから運転者の顔領域ｂｂを検出する（ステップＳ１０２）。

【0063】

つづいて、制御部１２は、顔領域ｂｂの位置に基づいて判定領域ｂａを設定し（ステップＳ１０３）、顔領域ｂｂの大きさに基づいて検知サイズを設定する（ステップＳ１０４）。

【0064】

つづいて、制御部１２は、端末認識ＡＩにより判定領域ｂａから携帯端末Ｔを検知する（ステップＳ１０５）。つづいて、制御部１２は、携帯端末Ｔが検知されたか否かを判定し（ステップＳ１０６）、携帯端末Ｔが検知された場合（ステップＳ１０６；Ｙｅｓ）、ステップＳ１０７へ進み、携帯端末Ｔが検知されなかった場合（ステップＳ１０６；Ｎｏ）、処理を終了する。

【0065】

つづいて、制御部１２は、端末認識ＡＩにより検知された携帯端末Ｔの端末領域ｔａが第１条件を満たすか否かを判定する（ステップＳ１０７）。ここでの第１条件は、端末領域ｔａの位置に関する検出条件である。具体的には、第１条件は、図５および図６にて説明したように、端末領域ｔａのすべてが判定領域ｂａに含まれるか否かに関する条件、端末領域ｔａの上端が顔領域ｂｂの下端ｂｂｂよりも上側か否かに関する条件が含まれる。

【0066】

制御部１２は、端末領域ｔａが第１条件を満たすと判定した場合（ステップＳ１０７；Ｙｅｓ）、ステップＳ１０８へ進み、端末領域ｔａが第１条件を満たさないと判定した場合（ステップＳ１０７；Ｎｏ）、処理を終了する。

【0067】

つづいて、制御部１２は、端末領域ｔａが第２条件を満たすか否かを判定する（ステップＳ１０８）。ここでの第２条件は、検知サイズに関する検出条件である。具体的には、第２条件は、図６および図７にて説明したように、顔領域ｂｂの横幅ｗａに対する端末領域ｔａの横幅の比率、顔領域ｂｂの縦幅ｈａに対する端末領域ｔａの縦幅の比率に関する条件である。

【0068】

制御部１２は、端末領域ｔａが第２条件を満たすと判定した場合（ステップＳ１０８；Ｙｅｓ）、通話運転として検出し（ステップＳ１０９）、処理を終了する。また、制御部１２は、端末領域ｔａが第２条件を満たさないと判定した場合（ステップＳ１０８；Ｎｏ）、処理を終了する。

【0069】

上述したように、実施形態に係る画像処理装置１０は、車両Ｖの運転者を撮影した画像データから運転者が携帯端末Ｔを持って通話する通話運転を検出する制御部１２（コントローラの一例）を有する画像処理装置であって、制御部１２は、画像データから運転者の顔領域ｂｂを検出し、検出した顔領域ｂｂの位置と大きさとに応じて、携帯端末Ｔの判定領域ｂａと、携帯端末Ｔの検知サイズとを設定し、設定した判定領域ｂａから検知サイズを満たす携帯端末Ｔを検知した場合に、通話運転として検出する。

【0070】

このように、実施形態に係る画像処理装置１０は、顔領域ｂｂから検知位置および検知サイズに関する検出条件を設定することで、運転者の手が検出されない場合であっても通話運転を検出することができる。

【0071】

また、実施形態に係る画像処理装置１０は、シートベルト等を端末領域ｔａとして検出した場合や、後部座席の乗員が扱う携帯端末を端末領域ｔａとして検出した場合であっても、端末領域ｔａを通話運転の検出対象から除外することができる。したがって、実施形態に係る画像処理装置１０によれば、画像処理による通話運転の検出精度を向上させることができる。

【0072】

ところで、上述した実施形態では、画像処理装置１０が車載装置である場合について説明したが、これに限定されるものではない。画像処理装置１０は、たとえば、サーバ装置やクラウドシステムにより構成されていてもよい。

【0073】

この場合、画像処理装置１０は、各車両Ｖのカメラ２１から画像データを取得し、画像処理によって通話運転を検出する。たとえば、このように、画像処理装置１０をサーバ装置やクラウドシステムとすることで、車載装置のコストダウンを図ることができる。

【0074】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0075】

１０ 画像処理装置
１１ 記憶部
１２ 制御部
２１ カメラ
２２ 車両センサ
２３ 報知装置
Ｔ 携帯端末
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】