特開 2024-154478 通話検出装置、通話検出方法、及び通話検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154478

(43)【公開日】2024-10-31

(54)【発明の名称】通話検出装置、通話検出方法、及び通話検出プログラム

(51)【国際特許分類】

   G06V 20/59 20220101AFI20241024BHJP

   G08G 1/04 20060101ALI20241024BHJP

   G08G 1/017 20060101ALI20241024BHJP

   G06T 7/00 20170101ALI20241024BHJP

   G06T 7/70 20170101ALI20241024BHJP

【ＦＩ】

G06V20/59

G08G1/04 C

G08G1/017

G06T7/00 660A

G06T7/00 660Z

G06T7/70 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023068289

(22)【出願日】2023-04-19

(71)【出願人】

【識別番号】501418498

【氏名又は名称】矢崎エナジーシステム株式会社

(74)【代理人】

【識別番号】100145908

【弁理士】

【氏名又は名称】中村 信雄

(74)【代理人】

【識別番号】100136711

【弁理士】

【氏名又は名称】益頭 正一

(72)【発明者】

【氏名】水野 弘基

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC04

5H181DD09

5H181LL20

5L096AA06

5L096BA04

5L096CA04

5L096FA67

5L096FA69

5L096GA30

5L096GA51

5L096HA05

5L096HA11

5L096MA07

(57)【要約】

【課題】撮像手段の解像度や通話検出の判断ロジックの性能をより抑えつつ、運転者による通話状態を検出することが可能な通話検出装置、通話検出方法、及び通話検出プログラムを提供する。
【解決手段】通話検出装置１は、撮像画像内から運転者の顔を検出する顔検出部３１と、撮像画像内から運転者の手を検出する手検出部３３と、撮像画像内から通話端末である可能性がある物体を検出する物体検出部３４と、物体検出部３４により検出された物体が通話端末であることの確からしさを示すスコアを出力するスコア出力部３５と、検出された物体の位置が検出された顔及び手の位置に近くなるほど、スコア出力部３５により出力されたスコアを高い値に変化させるスコア調整部３６と、スコア調整部３６により調整されたスコアに基づいて通話端末による通話状態を検出する通話検出部３８とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に搭載されて、運転者が遠隔者と通話可能な通話端末により通話を行っているか否かを検出する通話検出装置であって、
運転席を含む位置を撮像する撮像手段により得られた撮像画像内から運転者の顔を検出する顔検出手段と、
前記撮像画像内から運転者の手を検出する手検出手段と、
前記撮像画像内から前記通話端末である可能性がある物体を検出する物体検出手段と、
前記物体検出手段により検出された物体が前記通話端末であることの確からしさを示すスコアを出力するスコア出力手段と、
前記物体検出手段により検出された物体の位置が前記顔検出手段により検出された顔の位置及び前記手検出手段により検出された手の位置に近くなるほど、前記スコア出力手段により出力されたスコアを高い値に変化させるスコア調整手段と、
前記スコア調整手段により調整されたスコアに基づいて、前記通話端末による通話状態を検出する通話検出手段と、
を備えることを特徴とする通話検出装置。

【請求項2】

前記手検出手段により検出された手によって、前記物体検出手段により検出された物体が把持されているかを検出する把持検出手段と、
前記スコア調整手段により調整されたスコアが第１閾値以上となる場合に、前記把持検出手段により検出された把持される物体の位置を追跡する追跡手段と、をさらに備え、
前記通話検出手段は、前記スコア調整手段により調整されたスコアが、所定時間中において規定フレーム数以上、前記第１閾値を超える第２閾値以上となる場合に、前記通話端末による通話状態であると検出する
ことを特徴とする請求項１に記載の通話検出装置。

【請求項3】

前記通話検出手段は、前記スコア調整手段により調整されたスコアが前記規定フレーム数以上前記第２閾値以上となる場合であっても、前記顔検出手段により検出された顔の位置と前記手検出手段により検出された手の位置と前記物体検出手段により検出された物体の位置との位置関係が特定時間以上維持されていない場合、前記通話端末による通話状態でないと検出する
ことを特徴とする請求項２に記載の通話検出装置。

【請求項4】

前記顔検出手段により検出された顔の位置を含む所定エリアを設定する設定手段をさらに備え、
前記手検出手段は、前記撮像画像内のうち前記所定エリアから運転者の手の位置を検出し、
前記物体検出手段は、前記撮像画像内のうち前記所定エリアから前記通話端末である可能性がある物体の位置を検出する
ことを特徴とする請求項１に記載の通話検出装置。

【請求項5】

車両に搭載されて、運転者が遠隔者と通話可能な通話端末により通話を行っているか否かを検出する通話検出装置の通話検出方法であって、
運転席を含む位置を撮像する撮像手段により得られた撮像画像内から運転者の顔を検出する顔検出工程と、
前記撮像画像内から運転者の手を検出する手検出工程と、
前記撮像画像内から前記通話端末である可能性がある物体を検出する物体検出工程と、
前記物体検出工程において検出された物体が前記通話端末であることの確からしさを示すスコアを出力するスコア出力工程と、
前記物体検出工程において検出された物体の位置が前記顔検出工程において検出された顔の位置及び前記手検出工程において検出された手の位置に近くなるほど、前記スコア出力工程において出力されたスコアを高い値に変化させるスコア調整工程と、
前記スコア調整工程において調整されたスコアに基づいて、前記通話端末による通話状態を検出する通話検出工程と、
を備えることを特徴とする通話検出装置の通話検出方法。

【請求項6】

コンピュータを、請求項１に記載の通話検出装置として機能させるための通話検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通話検出装置、通話検出方法、及び通話検出プログラムに関する。

【背景技術】

【0002】

従来、車両運転中にスマートフォン等の携帯機器について利用制限を行うアプリケーション（制御プログラム）が提案されている（例えば特許文献１参照）。この制御プログラムは、使用者が携帯機器を把持しているかを判定したり、携帯機器に搭載されるカメラの映像から運転者が携帯機器を使用しているのかを判定したりして、携帯機器について利用制限を行うようにしている。これにより、例えば運転者が車両運転中に通話等を行えないようにすることができる。

【0003】

しかし、この制御プログラムは、携帯機器に搭載されるものであることから、運転者が携帯機器にプログラムをダウンロードしていなければ機能せず、車両の運転者が上記制御プログラムをダウンロードしていない場合には、通話等を検出することができない。

【0004】

そこで、路上に設置したカメラと路上に設置した電波受信機とを用いた路上側装置が提案されている（例えば特許文献２参照）。この路上側装置は、車両が電波受信機の設置位置を通過した際に通話相当の電波を受信し、且つ、カメラ映像から運転者が携帯機器を利用していると判断した場合に、運転者が通話していると判断する。この路上側装置によれば、車両の運転者が特定の制御プログラムを携帯機器にダウンロードしていなくとも、運転者が通話状態であるかを判断することができる。しかし、この路上側装置は路上に設置されるものであることから、車両がこの装置の設置個所を通過したタイミングでしか、通話状態を検出できない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１６６２６８号公報

【特許文献2】特開２００５－５６０００号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本件発明者は、車両に搭載したカメラからの撮像画像を解析することで運転者が通話状態であるかを判断することを検討している。しかし、撮像画像に基づいて運転者が通話状態であることを検出する場合、高解像度の撮像手段や人体の骨格検知等の高性能のＡＩ検知技術を導入する必要があり、車内装置としてこれらを搭載することは現実性が乏しくなる。

【0007】

本発明は、このような問題を解決するためになされたものであり、その目的とするところは、撮像手段の解像度や通話検出の判断ロジックの性能をより抑えつつ、運転者による通話状態を検出することが可能な通話検出装置、通話検出方法、及び通話検出プログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明に係る通話検出装置は、車両に搭載されて、運転者が遠隔者と通話可能な通話端末により通話を行っているか否かを検出する通話検出装置であって、運転席を含む位置を撮像する撮像手段により得られた撮像画像内から運転者の顔を検出する顔検出手段と、前記撮像画像内から運転者の手を検出する手検出手段と、前記撮像画像内から前記通話端末である可能性がある物体を検出する物体検出手段と、前記物体検出手段により検出された物体が前記通話端末であることの確からしさを示すスコアを出力するスコア出力手段と、前記物体検出手段により検出された物体の位置が前記顔検出手段により検出された顔の位置及び前記手検出手段により検出された手の位置に近くなるほど、前記スコア出力手段により出力されたスコアを高い値に変化させるスコア調整手段と、前記スコア調整手段により調整されたスコアに基づいて、前記通話端末による通話状態を検出する通話検出手段とを備える。

【0009】

本発明に係る通話検出装置の通話検出方法は、車両に搭載されて、運転者が遠隔者と通話可能な通話端末により通話を行っているか否かを検出する通話検出装置の通話検出方法であって、運転席を含む位置を撮像する撮像手段により得られた撮像画像内から運転者の顔位置を検出する顔検出工程と、前記撮像画像内から運転者の手の位置を検出する手検出工程と、前記撮像画像内から前記通話端末である可能性がある物体の位置を検出すると共に前記通話端末であることの確からしさを示すスコアを出力可能な物体検出工程と、前記物体検出工程において検出された物体の位置が前記顔検出工程において検出された顔位置及び前記手検出工程において検出された手の位置に近くなるほど、前記物体検出工程において出力されたスコアを高い値に変化させる値調整工程と、前記値調整工程において調整されたスコアに基づいて、前記通話端末による通話状態を検出する通話検出工程とを備える。

【0010】

本発明に係る通話検出プログラムは、コンピュータを、上記記載の通話検出装置として機能させるための通話検出プログラムである。

【発明の効果】

【0011】

本発明によれば、撮像手段の解像度や通話検出の判断ロジックの性能をより抑えつつ、運転者による通話状態を検出することに資することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る通話検出装置の概略を示すブロック図である。

【図2】図１に示したカメラによる撮像画像の例を示す第１の概略図である。

【図3】図１に示したカメラによる撮像画像の例を示す第２の概略図である。

【図4】図１に示したカメラによる撮像画像の例を示す第３の概略図である。

【図5】図１に示したカメラによる撮像画像の例を示す第４の概略図である。

【図6】図１に示したカメラによる撮像画像の例を示す第５の概略図である。

【図7】図１に示した通話検出部による検出処理の概要を示す概略図である。

【図8】本実施形態に係る通話検出装置の通話検出方法の詳細を示すフローチャートであって、顔検出部及びエリア設定部等の処理を示している。

【図9】本実施形態に係る通話検出装置の通話検出方法の詳細を示すフローチャートであって、手検出部の処理を示している。

【図10】本実施形態に係る通話検出装置の通話検出方法の詳細を示すフローチャートであって、物体検出部の処理を示している。

【図11】本実施形態に係る通話検出装置の通話検出方法の詳細を示すフローチャートであって、通話検出までの前半処理を示している。

【図12】本実施形態に係る通話検出装置の通話検出方法の詳細を示すフローチャートであって、通話検出までの後半処理を示している。

【発明を実施するための形態】

【0013】

以下、本発明を好適な実施形態に沿って説明する。なお、本発明は以下に示す実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。また、以下に示す実施形態においては、一部構成の図示や説明を省略している箇所があるが、省略された技術の詳細については、以下に説明する内容と矛盾点が発生しない範囲内において、適宜公知又は周知の技術が適用されていることはいうまでもない。

【0014】

図１は、本実施形態に係る通話検出装置の概略を示すブロック図である。図１に示すように、通話検出装置１は、車両に搭載されて、運転者が遠隔者と通話可能な通話端末による通話を行っているか否かを検出すると共に、通話状態を検出した場合にイベントを作成のうえ記録する装置である。この通話検出装置１は、カメラ（撮像手段）１０と、車速取得部２０と、制御部３０と、記憶部４０と、通信部５０とを備えている。

【0015】

カメラ１０は、車内の運転席を含む位置を撮像するものであって、少なくとも運転席に着座する運転者の頭部位置が含まれるように車内を撮像するものである。このカメラ１０は、得られた撮像画像を制御部３０に送信する。なお、本実施形態においてカメラ１０は高解像度のものが用いられてもよいが、特に高解像度のものである必要はなく、比較的低解像度のものが用いられてもよい。

【0016】

車速取得部２０は、車速の情報を取得するものである。この車速取得部２０は、例えば車速パルス等に基づいて車速を演算する演算部（不図示）から車速情報を取得するものである。なお、この車速取得部２０は、自らが車速パルスを入力して演算し車速情報を取得してもよいし、人工衛星からの電波に基づく車両位置の変化から車速を算出して車速情報を取得してもよい。

【0017】

制御部３０は、通話検出装置１の全体を制御するものであって、顔検出部（顔検出手段）３１と、エリア設定部（設定手段）３２と、手検出部（手検出手段）３３と、物体検出部（物体検出手段）３４と、スコア出力部（スコア出力手段）３５と、スコア調整部（スコア調整手段）３６と、把持検出部（把持検出手段）３７と、通話検出部（通話検出手段）３８とを備えている。記憶部４０には、これらを機能させるための通話検出プログラムが記憶されている。

【0018】

顔検出部３１は、カメラ１０により得られた撮像画像内から運転者の顔位置を検出するものである。この顔検出部３１は、例えば眉、眼、鼻、口（マスク）、及び耳等の特徴的な部位の配列等に基づいて運転者の顔位置を検出するものである。また、運転席の位置の関係上、運転者の顔の位置も或る程度定まった位置となることから、顔検出部３１は、画像上における位置も利用して顔位置を検出するようにしてもよい。

【0019】

エリア設定部３２は、顔検出部３１により検出された顔位置を含む所定エリアを設定するものである。所定エリアは、以後の処理において支障が生じない範囲で撮像画像より狭くされたエリアであって、例えば顔位置を含むと共に少なくとも運転者が通話端末を手に持って通話端末を耳付近に持っていく際の動作が入り込む程度の大きさとされる。

【0020】

手検出部３３は、カメラ１０により得られた撮像画像内（特にエリア設定部３２により設定された所定エリア内）から運転者の手を検出するものである。この手検出部３３は、例えば手の形状モデルや指の本数等に基づいて運転者の手を検出するものである。さらに、手検出部３３は追跡部３３ａを備えている。追跡部３３ａは、手検出部３３により一度手が検出されると、手をロストする（見失う）まで、手を追跡する処理を実行する。ここで、運転者の手が３つ以上検出されることは身体的にあり得ないことから、手検出部３３は、追跡部３３ａにより２つの手が追跡されている場合、新たな手を検出しないことが好ましい。

【0021】

物体検出部３４は、カメラ１０により得られた撮像画像内（特にエリア設定部３２により設定された所定エリア内）から通話端末である可能性がある物体を検出するものである。この物体検出部３４は、通話端末のサンプル画像の学習等を通じて通話端末である可能性がある物体の位置を検出する。さらに、物体検出部３４は追跡部３４ａを備えている。追跡部３４ａは、物体検出部３４より一度物体が検出されると、物体をロストするまで追跡する処理を実行する。

【0022】

ここで、これらの顔、手及び物体の検出は、ＡＩ（Artificial Intelligence）を利用して行なわれる。ＡＩによる検出については、例えば「Ｒ－ＣＮＮ（Region-based Convolutional Network）」「ＹＯＬＯ（You Only Look Once）」「ＳＳＤ（Single Shot Multibox Detector）」「ＤＣＮ（Deformed Convolutional Networks）」「ＤＥＴＲ（End-to-End Object Detection with Transformers）」「ＨＯＧ（Histogram of oriented gradient）」といった手法が知られている。さらに、ＡＩによる検出時には、顔、手及び物体の確からしさを表すスコアが出力される。例えばＹＯＬＯにおいては、画像内に設定されるバウンティングボックスの信頼度と、条件付きクラス確率とを掛け合わせることでスコアが算出される。ＡＩによる顔、手及び物体の検出の場面においては、このようなスコアが所定の閾値以上である場合に検出されたと判断することが通常である。

【0023】

なお、本実施形態において顔の検出や手の検出については特にＡＩモデルを用いなくともよい。例えば運転席に運転者が着座すれば、頭部の位置は或る程度定まったものとなる。同様に、少なくとも運転中にはハンドル操作を要することから、手はハンドル位置付近となり易い。また、顔の位置から腕を推定することも可能であり、腕先端を手と判断することもできる。加えて、顔や手については、肩や腹部等と異なり、比較的特徴的であることから、他の身体部位や車内の構造物とは区別し易い。このような事情から、顔位置や手の位置については、ＡＩを用いることなく、演算によって検出されるようになっていてもよい。

【0024】

ここで、顔や手については、基本的に特徴的な部位であることから比較的検出し易い。一方で、通話端末等の物体については、検出が困難となり易い傾向がある。このため、通話端末の確からしさのスコアを精度良くするためには、例えば高解像度のカメラを用いて、通話端末に設けられる内側カメラ、外側カメラ、充電差込口、及び電源スイッチ等を検出する必要がある。さらには、装置が高性能の判断ロジックを搭載し、内側カメラ等の検出や通話端末の各部の部品配列が既存製品に合致するか等を判断する必要もある。しかし、高解像度のカメラや高性能の判断ロジックは車内装置として搭載し難くなるという実情がある。

【0025】

そこで、本実施形態に係る通話検出装置１は、カメラ１０の解像度を抑え、且つ、判断ロジックの性能をより抑えるべく、スコア調整部３６を備えている。まず、スコア出力部３５は、物体検出部３４により検出された物体（追跡部３４ａによる追跡中の物体を含む。以後同じ。）が通話端末であることの確からしさを示すスコアを出力する。そして、スコア調整部３６は、スコア出力部３５により出力されたスコアを調整する。このスコア調整部３６は、物体検出部３４により検出された物体の位置が、顔検出部３１により検出された顔の位置、及び、手検出部３３により検出された手（追跡中を含む。以後同じ。）の位置に近くなるほど、スコアを高い値に変化させる。

【0026】

把持検出部３７は、通話端末である可能性がある物体を運転者が把持しているかを検出するものである。この把持検出部３７は、物体検出部３４により検出された物体の位置と、手検出部３３により検出された手の位置とに基づいて通話端末である可能性がある物体を運転者が把持しているかを検出する。さらに、把持検出部３７は、人の手によって把持されているときの手の形状を学習等しており、さらに手の形状も含めて物体を運転者が把持しているかを検出する。なお、この把持検出についてもＡＩモデルを用いて行われる。

【0027】

ここで、把持検出部３７によって物体把持が検出されている場合、物体検出部３４により検出された物体の位置と、手検出部３３により検出された手の位置とが略同位置にあるといえる。よって、把持検出部３７によって物体把持が検出されている場合、スコアはスコア調整部３６によって或る程度高い値に調整されることとなる。

【0028】

また、把持検出部３７は、追跡部（追跡手段）３７ａを備えている。この追跡部３７ａは、スコア調整部３６によって調整されたスコアが第１閾値以上となる場合に、把持位置（把持される物体及び手の位置）の追跡処理を維持するようになっている。すなわち、把持検出部３７の追跡部３７ａは、或る程度通話端末であることの確からしさが高い場合に、把持位置を追跡する構成となっている。

【0029】

ここで、上記した追跡部３３ａ，３４ａ，３７ａによる追跡手法は公知又は周知の種々の手法を採用し得る。一例を挙げると、追跡部３３ａ，３４ａ，３７ａは、例えば物体等の移動方向の予測と、類似度とに基づいて行うことができる。把持検出部３７の追跡部３７ａを例に挙げる。例えば運転者が通話端末を手に取った直後においては、通話端末をさらに体から遠ざけることは略なく、体に近づける動作を行う。すなわち、追跡部３７ａは、運転者の手が物体の位置に合致するまでの移動方向（すなわち手を伸ばした方向）と逆方向に移動するものと予測し、予測先において形及び画素値（色彩や輝度）が類似するものを再度追跡対象であると判断する。

【0030】

通話検出部３８は、スコア調整部３６によって調整されたスコアに基づいて、通話端末による通話状態を検出するものである。この通話検出部３８は、所定時間中において規定フレーム数以上、スコア調整部３６によって調整されたスコアが第１閾値を超える第２閾値以上となる場合に、通話端末による通話状態であると検出する。

【0031】

ここで、本実施形態においては通話検出にあたりカメラ１０の解像度及び判断ロジックの性能を極力抑えたいという要請がある。このため、通話検出装置１は、上記したようにスコアを調整すると共に、１フレームの画像のみによって通話状態を判断するのではなく、調整されたスコアの高い状態が或る時間中において或る程度発生する場合に、通話状態を検出することとしている。これにより、１フレームの画像に対して高度な判断ロジックを適用して通話状態を検出する必要がなく、判断ロジックの性能を極力抑えることに資することとなる。

【0032】

次に、本実施形態に係る通話検出装置１の通話検出方法の概略を画像例を参照して説明する。図２～図６は、図１に示したカメラ１０による撮像画像の例を示す概略図である。

【0033】

まず、図２に示すように、顔検出部３１（図１参照）は運転者の顔を検出する（領域Ａ１参照）。次に、エリア設定部３２（図１参照）は、検出された顔の位置（領域Ａ１の位置）を含む所定エリアＡを設定する。その後、手検出部３３（図１参照）は、所定エリアＡ内から手を検出する（領域Ａ２参照）。手検出部３３により手が検出されると、追跡部３３ａ（図１参照）は、手をロストするまで手の追跡処理を実行することとなる。また、図２に示す例においては、手を２つ検出済みであることから、手検出部３３は、次の撮影画像について新たな手の検出を実行しないこととなる。

【0034】

また、図３に示す例においては、所定エリアＡ内に通話端末が位置している。このため、物体検出部３４（図１参照）は、通話端末である可能性がある物体を検出する（領域Ａ３参照）。加えて、図３に示す例においては、手検出部３３（図１参照）により検出される手の位置（領域Ａ２）と、物体検出部３４により検出される物体の位置（領域Ａ３）とが所定以上の割合で重複する関係となっている。このため、把持検出部３７（図１参照）は、手検出部３３により検出された手によって、物体検出部３４により検出された物体が把持されていると検出する（領域Ａ４参照）。以後、把持検出部３７の追跡部３７ａ（図１参照）は、上記した調整済みのスコアが第１閾値未満となるまで、把持位置を追跡し続けることとなる。

【0035】

ここで、上記した所定以上の割合で重複する場合とは、例えば領域Ａ２の全体面積に対し、領域Ａ２上に領域Ａ３が重なる面積の割合が所定割合以上である場合であってもよい。また、その逆に領域Ａ３の全体面積に対し、領域Ａ３上に領域Ａ２が重なる面積の割合が所定割合以上である場合であってもよい。さらには、双方が所定割合以上である場合であってもよい。

【0036】

また、上記において手の位置とは領域Ａ２を示し、物体の位置とは領域Ａ３を示すものとしたが、特にこれに限らず、各領域Ａ２，Ａ３の最も左上等の１点（特定点）を手や物体の位置としてもよい。特定点を位置とした場合には、両者が重複することは非常に稀となることから、把持検出部３７は、特定点同士の近さから把持されていることを検出してもよい。

【0037】

加えて、把持検出部３７は、手及び物体の位置のみならず、把持している手の形状であるか否か等の他の要素についても加味して物体が把持されているかを検出してもよい。

【0038】

図４に示す例においては、把持検出部３７（図１参照）によって検出された把持位置が顔検出部３１（図１参照）により検出された顔の位置に対して重複するようになっている（領域Ａ１，Ａ４参照）。このような場合、スコア調整部３６（図１参照）は、例えば領域Ａ１，Ａ４の重複度合いが大きくなるほど（「物体の位置が顔位置及び手の位置に近くなるほど」の一例）、また領域Ａ１，Ａ４における特定点同士の距離が近くなるほどスコアを高く調整する。特に、図４に示す例においては、調整後のスコアは、第２閾値以上となる。よって、このような状態が継続すれば、通話検出部３８は、通話端末による通話状態であると検出することとなる。

【0039】

図５に示す例においては、運転者が通話端末を把持した場合に似た状態を示している。図５に示す例において、運転者は左手方向を視認しており、単に運転者の骨格検知のみを行っている場合には、骨格検知が高度なロジックであるにもかかわらず、運転者が通話端末を手に取った（把持した）と誤検出することもあり得る。一方、本実施形態においては、顔検出部３１（図１参照）により顔が検出され（領域Ａ１参照）、手検出部３３（図１参照）により手が検出されているが（領域Ａ２参照）、物体検出部３４（図１参照）により物体が検出されていない。よって、運転者が通話端末を手に取ったと誤検出されることもない。

【0040】

図６に示す例においては、通話状態と似た状態を示している。図６に示す例では、運転者が左頬を触る等、左手が左耳付近に位置している。この場合、単に運転者の骨格検知のみを行っている場合には、骨格検知が高度なロジックであるにもかかわらず、運転者が通話状態であると誤検出する可能性がある。一方、本実施形態においては、顔検出部３１（図１参照）により顔が検出され（領域Ａ１参照）、手検出部３３（図１参照）により手が検出されているが（領域Ａ２参照）、物体検出部３４（図１参照）により物体が検出されていない。よって、運転者が通話状態であると誤検出されることもない。

【0041】

ここで、図６に示す例においては、運転者の右前方からカメラ１０により運転者を撮像している関係上、運転者が通話状態であるときに、通話端末が運転者の頭部左側に隠されてしまうこともある。このような場合、本来的には通話状態を検出しなければならないが、通話状態を検出できなくなる可能性がある。しかし、本実施形態に係る通話検出部３８（図１参照）は、調整後のスコアが第２閾値以上となるだけでなく、所定時間中において規定フレーム数以上発生する場合に通話状態であることを検出する。これにより、図６に示す例が通話状態であるにも関わらず一時的に通話端末が隠れている状態であっても、運転者が頭部の向きを変えたり、手の位置を調整した場合には、通話端末が再度検出されて調整後のスコアが第２閾値以上となる。よって、カメラ１０の設置角度や画角に応じて、所定時間や規定フレーム数を適切な値に設定しておけば、所定時間中における第２閾値以上となる場合が規定フレーム数以上となって誤検出をする可能性について低下させることが可能となる。

【0042】

図７は、図１に示した通話検出部３８による検出処理の概要を示す概略図である。例えば図７に示すように、時刻ｔ１における撮像画像において調整後のスコアは第１閾値未満である。次いで、時刻ｔ２における撮像画像において調整後のスコアが第１閾値以上第２閾値未満になったとする。この場合、スコアが第２閾値未満であることから通話状態であると検出されることはないものの、スコアが第１閾値以上であることから、把持検出部３７の追跡部３７ａによって把持位置を追跡する。

【0043】

次に、時刻ｔ３における撮像画像に対して追跡部３７ａは把持位置を追跡する処理を実行する。しかしながら、時刻ｔ３においては、例えば把持位置が顔から遠ざかったり把持するための手の形状ではなくなったりして調整後のスコアが第１閾値を下回っている。このため、追跡部３７ａによる追跡処理は終了することとなる。その後、時刻ｔ４における撮像画像において調整後のスコアが第２閾値以上になったとする。制御部３０は、この時刻ｔ４の時点から所定時間の計測を開始し、以後所定時間内に規定フレーム数以上、調整後のスコアが第２閾値以上となる場合が発生すると、通話状態であることを検出する。

【0044】

なお、時刻ｔ４以降においても調整後のスコアが第１閾値以上となる場合には、追跡部３７ａによる追跡処理が実行されていくこととなる。

【0045】

次に、本実施形態に係る通話検出装置１の通話検出方法の詳細をフローチャートを参照して説明する。図８は、本実施形態に係る通話検出装置１の通話検出方法の詳細を示すフローチャートであって、顔検出部３１及びエリア設定部３２等の処理を示している。

【0046】

まず、図８に示すように制御部３０は車速取得部２０により取得された車速情報に基づいて車速が０を超えているか、すなわち車両が走行状態であるかを判断する（Ｓ１）。車両が走行状態でないと判断した場合（Ｓ１：ＮＯ）、車両が走行状態であると判断されるまで、この処理が繰り返される。

【0047】

一方、車両が走行状態であると判断された場合（Ｓ１：ＹＥＳ）、顔検出部３１は、カメラ１０により得られた撮像画像から顔を検出したかを判断する（Ｓ２）。顔が検出できない場合（Ｓ２：ＮＯ）、顔を検出したと判断されるまで、この処理が繰り返される。一方、顔が検出された場合（Ｓ２：ＹＥＳ）、エリア設定部３２は、撮像画像内に所定エリアＡ（図２～図６参照）を設定する（Ｓ３）。その後、図８に示す処理は終了する。なお、図８に示す処理は通話検出装置１の電源がオフされるまで繰り返し実行され、所定エリアＡは運転者に顔位置の変化に応じて順次更新されてもよいが、特にこれに限られない。例えば車両走行開始直後に検出された顔位置の情報を車両走行終了時まで用いるようにしてもよい。基本的に運転中において運転者の顔位置は略変化がないためである。

【0048】

図９は、本実施形態に係る通話検出装置１の通話検出方法の詳細を示すフローチャートであって、手検出部３３の処理を示している。図９に示すように、まず手検出部３３は、エリア設定部３２により所定エリアＡ（図２～図６参照）が設定済みであるかを判断する（Ｓ１１）。所定エリアＡが設定済みでない場合（Ｓ１１：ＮＯ）、顔位置が検出されていないことから、図９に示す処理は終了する。

【0049】

所定エリアＡが設定済みである場合（Ｓ１１：ＹＥＳ）、手検出部３３は、手を検出したかを判断する（Ｓ１２）。手が検出されていない場合（Ｓ１２：ＮＯ）、処理はステップＳ１１に移行する。一方、手が検出された場合（Ｓ１２：ＹＥＳ）、手検出部３３の追跡部３３ａは、手の追跡処理を実行する（Ｓ１３）。次いで、追跡部３３ａは、手をロストしたかを判断する（Ｓ１４）。

【0050】

手をロストしていない場合（Ｓ１４：ＮＯ）、処理はステップＳ１３に移行する。一方、手をロストした場合（Ｓ１４：ＹＥＳ）、図９に示す処理は終了する。

【0051】

図１０は、本実施形態に係る通話検出装置１の通話検出方法の詳細を示すフローチャートであって、物体検出部３４の処理を示している。図１０に示すように、まず物体検出部３４は、エリア設定部３２により所定エリアＡ（図２～図６参照）が設定済みであるかを判断する（Ｓ２１）。所定エリアＡが設定済みでない場合（Ｓ２１：ＮＯ）、顔位置が検出されていないことから、図１０に示す処理は終了する。

【0052】

所定エリアＡが設定済みである場合（Ｓ２１：ＹＥＳ）、物体検出部３４は、通話端末の可能性がある物体を検出したかを判断する（Ｓ２２）。物体が検出されていない場合（Ｓ２２：ＮＯ）、処理はステップＳ２１に移行する。一方、物体が検出された場合（Ｓ２２：ＹＥＳ）、物体検出部３４の追跡部３４ａは、物体の追跡処理を実行する（Ｓ２３）。次いで、追跡部３４ａは、物体をロストしたかを判断する（Ｓ２４）。

【0053】

物体をロストしていない場合（Ｓ２４：ＮＯ）、処理はステップＳ２３に移行する。一方、物体をロストした場合（Ｓ２４：ＹＥＳ）、図１０に示す処理は終了する。

【0054】

図１１及び図１２は、本実施形態に係る通話検出装置１の通話検出方法の詳細を示すフローチャートであって、通話検出までの処理を示している。図１１に示すように、まず制御部３０は、手を追跡中であるかを判断する（Ｓ３１）。手を追跡中でない場合（Ｓ３１：ＮＯ）、手を検出できていないこととなる。よって、図１１及び図１２に示す処理は終了する。

【0055】

手を追跡中である場合（Ｓ３１：ＹＥＳ）、制御部３０は、物体を追跡中であるかを判断する（Ｓ３２）。物体を追跡中でない場合（Ｓ３２：ＮＯ）、物体を検出できていないこととなる。よって、図１１及び図１２に示す処理は終了する。

【0056】

物体を追跡中である場合（Ｓ３２：ＹＥＳ）、把持検出部３７は、運転者によって物体が把持されているかを検出する（Ｓ３３）。この処理において把持検出部３７は、手の位置、物体の位置、及び手の形状等に基づいて、物体が把持されているかを検出する。

【0057】

物体が把持されていない場合（Ｓ３３：ＮＯ）、処理はステップＳ３１に移行する。物体が把持されている場合（Ｓ３３：ＹＥＳ）、把持検出部３７の追跡部３７ａは、把持位置（例えば図２及び図３の領域Ａ４）の追跡処理を実行する（Ｓ３４）。次いで、制御部３０は、追跡中の把持位置内の物体と顔検出部３１により検出された顔の位置とが条件内であるかを判断する（Ｓ３５）。この処理において制御部３０は、物体が或る程度顔の位置に近い状態であるか（すなわち条件を満たすか）を判断している。

【0058】

物体と顔位置とが条件内でない場合（Ｓ３５：ＮＯ）、処理はステップＳ３１に移行する。一方、物体と顔位置とが条件内である場合（Ｓ３５：ＹＥＳ）、スコア出力部３５は、物体について通話端末であることの確からしさを示すスコアを出力する（Ｓ３６）。この処理では、既存のＡＩに基づくスコアが出力される。

【0059】

その後、スコア調整部３６は、ステップＳ３６において出力されたスコアを調整する（Ｓ３７）。この際、スコア調整部３６は、物体の位置が、顔位置及び手の位置に近くなるほど（各位置を特定点でなく領域としている場合には重複度合いが大きくなるほど）、スコアが高くなるように調整する。ここで、ステップＳ３７の段階においては、ステップＳ３３において把持が検出済みである。このため、スコア調整部３６は、ステップＳ３６にて出力されたスコアを或る程度以上高くすることとなる。

【0060】

次いで、通話検出部３８は、ステップＳ３７において調整されたスコアが第１閾値以上であるかを判断する（Ｓ３８）。ここで、ステップＳ３７においては、スコアが或る程度高くされるものの、例えば把持位置（物体の位置）と顔位置との関係によってはスコアが第１閾値未満となることもある。このような場合、スコアが第１閾値以上ではなく（Ｓ３８：ＮＯ）、処理はステップＳ３１に移行する。

【0061】

一方、スコアが第１閾値以上である場合（Ｓ３８：ＹＥＳ）、通話検出部３８は、スコアが第２閾値以上であるかを判断する（Ｓ３９）。スコアが第２閾値以上ではない場合（Ｓ３９：ＮＯ）、処理はステップＳ３４に移行する。すなわち、スコアが第２閾値以上でなくとも第１閾値以上であって或る程度高いことが検出済みであることから、処理はステップＳ３４に移行して、把持位置を追跡することとなる。

【0062】

一方、スコアが第２閾値以上である場合（Ｓ３９：ＹＥＳ）、通話検出部３８は、所定時間の計測中であるかを判断する（Ｓ４０）。所定時間の計測中でない場合（Ｓ４０：ＮＯ）、通話検出部３８は、所定時間を計測するためのタイマーをスタートさせ（Ｓ４１）、処理はステップＳ４２に移行する。

【0063】

一方、所定時間の計測中である場合（Ｓ４０：ＹＥＳ）、通話検出部３８は、フレームカウント数をインクリメントする（Ｓ４２）。その後、通話検出部３８は、所定時間内でのカウント数が規定フレーム数以上であるかを判断する（Ｓ４３）。所定時間内でのカウント数が規定フレーム数以上でない場合（Ｓ４３：ＮＯ）、処理はステップＳ３４に移行する。

【0064】

一方、カウント数が規定フレーム数以上である場合（Ｓ４３：ＹＥＳ）、通話検出部３８は監視状態に設定される（図１２：Ｓ４４）。この監視状態においてステップＳ４５～Ｓ４７の処理が実行される。すなわち、通話検出部３８は、現在の顔位置と把持位置（手の位置及び物体の位置）との位置関係が継続中であるかを判断する（Ｓ４５）。ここで、通話検出部３８は、いずれかの位置が他の位置に対して所定画素以上離れた場合（位置を領域として把握している場合には例えば領域の重複がなくなった場合）、位置関係が継続中でなく（Ｓ４５：ＮＯ）、図１１及び図１２に示す処理は終了する。すなわち、位置関係が崩れた場合、通話検出部３８は、通話状態を検出しないこととなる。

【0065】

一方、位置関係が継続中である場合（Ｓ４５：ＹＥＳ）、通話検出部３８は、その位置関係が特定時間継続したかを判断する（Ｓ４６）。位置関係が特定時間継続していない場合（Ｓ４６：ＮＯ）、処理はステップＳ４５に移行する。

【0066】

一方、位置関係が特定時間継続した場合（Ｓ４６：ＹＥＳ）、通話検出部３８は、通話端末による通話状態であると検出すると共に、通話イベントを確定させる（Ｓ４７）。このイベントは、記憶部４０に記録されると共に、通信部５０を通じて管理者側にも連絡される。そして、図１１及び図１２に示す処理は終了する。

【0067】

このようにして、本実施形態に係る通話検出装置１、通話検出方法、及び、通話検出プログラムによれば、顔と手の位置との関係から通話端末の確からしさを示すスコアを調整するため、精度良く通話検出を行うべく、高精度のカメラや高性能の判断ロジックを使用する必要がなくなる。従って、カメラ１０の解像度や通話検出の判断ロジックの性能をより抑えつつ、運転者による通話状態を検出することに資することができる。

【0068】

また、調整後のスコアが第１閾値以上である場合に把持位置を追跡するため、通話端末らしきものを手に持って、これから通話に移行しそうな状態で追跡をすることができ処理負荷の軽減を図りつつ、通話検出をし易くすることができる。また、第２閾値以上となる場合が所定時間中において規定フレーム数以上となる場合に通話端末による通話状態であると判断する。このため、例えば１フレームの画像に対して、運転者の骨格検知等を利用して通話検出を行う必要がなく、高性能の判断ロジックを要しない構成とすることができる。従って、判断ロジックの性能をより抑えつつ、運転者による通話状態を検出することに資することができる。

【0069】

また、顔の位置、手の位置、及び物体の位置（通話端末の位置）の位置関係が特定時間以上維持されていない場合、通話状態でないと判断する。ここで、通話時においては、或る程度長い時間、顔の近くに手と通話端末とが位置することから、この位置関係を特定時間以上維持しない場合は、通話端末の検出が誤りであった可能性が高くなる。よって、上記位置関係を特定時間以上維持しない場合に通話状態でないと判断することで、通話状態の誤検出を回避し易くすることができる。

【0070】

また、顔の位置を含む所定エリアＡを設定して、所定エリアＡ内から手及び物体を検出するため、例えば助手席側等の不要な画像領域を除外して検出を行うことができる。よって、より処理負荷を軽減させることができる。

【0071】

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、可能な範囲で適宜他の技術を組み合わせてもよい。さらに、可能な範囲で公知又は周知の技術を組み合わせてもよい。

【0072】

例えば、上記実施形態において手、通話端末である可能性がある物体、及び把持位置については追跡が行われるが、特にこれに限らず、追跡処理が行われることなく、都度検出が繰り返されてもよい。また、顔については追跡処理が行われていないが、追跡されてもよい。さらに、本実施形態に係る通話検出装置１はエリア設定部３２を備えているが、特にてエリア設定部３２を備えることなく、撮像画像の全体に対して処理が実行されるようになっていてもよい。

【0073】

また、運転中において顔の位置はほぼ変化しないことから、初回のみ顔の検出を行い、以後検出された顔の位置を利用して処理を実行してもよいし、繰り返し顔を検出して処理を実行してもよい。また、本実施形態において通話検出装置１は把持検出部３７を備えているが、特にこれに限らず、把持検出部３７を備えていなくともよい。

【符号の説明】

【0074】

１ ：通話検出装置
１０ ：カメラ（撮像手段）
３１ ：顔検出部（顔検出手段）
３２ ：エリア設定部（設定手段）
３３ ：手検出部（手検出手段）
３３ａ ：追跡部
３４ ：物体検出部（物体検出手段）
３４ａ ：追跡部
３５ ：スコア出力部（スコア出力手段）
３６ ：スコア調整部（スコア調整手段）
３７ ：把持検出部（把持検出手段）
３７ａ ：追跡部（追跡手段）
３８ ：通話検出部（通話検出手段）
Ａ ：所定エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】