特開 2024-143290 異常判定装置、車載器、異常判定システム及び異常判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143290

(43)【公開日】2024-10-11

(54)【発明の名称】異常判定装置、車載器、異常判定システム及び異常判定プログラム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241003BHJP

   G07C 5/08 20060101ALI20241003BHJP

【ＦＩ】

G08G1/00 D

G07C5/08

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023055885

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】501418498

【氏名又は名称】矢崎エナジーシステム株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】大槻 一哉

【テーマコード（参考）】

3E138

5H181

【Ｆターム（参考）】

3E138MB08

3E138MF05

5H181AA01

5H181BB04

5H181BB05

5H181BB18

5H181CC04

5H181FF10

(57)【要約】

【課題】車両の室内を撮影するカメラの異常状態を検出可能な異常判定装置、車載器、異常判定システム及び異常判定プログラムを提供する。
【解決手段】異常判定装置１０は、車両１の車室内を撮影するカメラ２０から撮影画像を取得する画像取得部１１と、車両の速度を含む車両情報を取得する車両情報取得部１２と、撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、対象物を検出できない場合はＮＧを認識結果として出力する画像認識部１３と、認識結果がＯＫの場合に、カメラ２０の状態が正常であると判断し、認識結果がＮＧの場合に、カメラ２０の状態が異常であると判断する制御部１４と、を備える。制御部１４は、車両情報が車両の停止状態を示す場合、カメラ２０の状態が異常であると判断しない。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の車室内を撮影するカメラから撮影画像を取得する画像取得部と、
前記車両の速度を含む車両情報を取得する車両情報取得部と、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力する画像認識部と、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断する判断部と、を備え、
前記判断部は、前記車両情報が前記車両の停止状態を示す場合、前記カメラの状態が異常であると判断しない、
異常判定装置。

【請求項2】

前記判断部は、前記認識結果がＮＧの場合であっても、前記車両が停止している状態においては、前記認識結果をＯＫに補正する、
請求項１に記載の異常判定装置。

【請求項3】

前記判断部は、複数の撮影画像のそれぞれに対して、前記カメラの状態が正常か異常かを仮に判断し、所定枚数の撮影画像についての仮判断結果に占める、異常であった撮影画像の割合が一定値を超えた場合に、前記カメラの状態が異常であると判断する、
請求項１に記載の異常判定装置。

【請求項4】

前記車両情報は、車両状態に関して、実車と、空車と、休憩中とを含み、
前記判断部は、前記車両情報を加味して前記カメラの状態が正常か異常かを判断する、
請求項１に記載の異常判定装置。

【請求項5】

前記認識結果がＮＧの場合において、前記車両状態が、実車及び空車のいずれでもないときは、前記認識結果をＯＫに補正する、
請求項４に記載の異常判定装置。

【請求項6】

前記対象物は、前記車両の乗務員の身体の一部、又は、前記乗務員が装着する物品の一部である、
請求項１に記載の異常判定装置。

【請求項7】

前記判断部が前記カメラの状態が異常であると判断した場合に、前記カメラの異常発生を報知する報知部を備える、
請求項１に記載の異常判定装置。

【請求項8】

前記判断部が前記カメラの状態が異常と判断した場合に、前記カメラの異常発生を示す信号を、通信端末に送信する送信部を備える、
請求項１に記載の異常判定装置。

【請求項9】

請求項１から８のいずれか１項に記載の異常判定装置を備える車載器。

【請求項10】

請求項９に記載の車載器と、
前記車載器と通信可能な通信端末と、を備える異常判定システムであって、
前記通信端末は、
前記車載器から、前記カメラの状態が異常であると判断された際に生成されるカメラ設置ＮＧイベントを受信後、前記車載器に、前記カメラの異常状態を解消するように指示する信号であるカメラＮＧ解消指示を送信し、
前記車載器から前記カメラＮＧ解消指示の了承信号を受信した後、一定時間以内に、前記カメラの状態が正常であると判断された際に生成されるカメラ設置ＯＫイベントを受信しない場合は、前記カメラの異常状態が解消できない旨を示す通知を生成する、
異常判定システム。

【請求項11】

車両の車室内を撮影するカメラから撮影画像を取得するステップと、
前記車両の速度を含む車両情報を取得するステップと、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力するステップと、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断するステップと、
をコンピュータに実行させ、
前記カメラの状態の判断ステップにおいて、前記車両情報が前記車両の停止状態を示す場合、前記カメラの状態が異常であると判断しない、
異常判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常判定装置、車載器、異常判定システム及び異常判定プログラムに関する。

【背景技術】

【0002】

運転支援、トラブル発生時における証拠記録等の観点から、現在の車両は、一般的に車両の内外を撮影可能なカメラが搭載されている。このようなカメラは、車両の振動、温度変化、乗員の接触等の要因により、その姿勢が設置時と比較して変化することがある。カメラの姿勢が変化すると適切な撮影ができなくなる可能性があるため、このような姿勢変化を速やかに検出することが望まれる。

【0003】

特許文献１は、フロントガラスを通して車両の前方を撮影するカメラの姿勢変化を検出できる、車載カメラの姿勢変化検出装置を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－９８７１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のような従来の装置は、専ら車両の外部を撮影するカメラの姿勢変化を検出するためのものであり、車両の室内を撮影するカメラの異常状態を検出することは想定していない。

【0006】

本発明は、車両の室内を撮影するカメラの異常状態を検出可能な異常判定装置、車載器、異常判定システム及び異常判定プログラムを提供する。

【課題を解決するための手段】

【0007】

前述した目的を達成するために、本発明に係る異常判定装置は、下記を特徴としている。
車両の車室内を撮影するカメラから撮影画像を取得する画像取得部と、
前記車両の速度を含む車両情報を取得する車両情報取得部と、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力する画像認識部と、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断する判断部と、を備え、
前記判断部は、前記車両情報が前記車両の停止状態を示す場合、前記カメラの状態が異常であると判断しない、
異常判定装置。

【0008】

前述した目的を達成するために、本発明に係る車載器は、上述の異常判定装置を備える。

【0009】

前述した目的を達成するために、本発明に係る異常判定システムは、下記を特徴としている。
上述の車載器と、
前記車載器と通信可能な通信端末と、を備える異常判定システムであって、
前記通信端末は、
前記車載器から、前記カメラの状態が異常であると判断された際に生成されるカメラ設置ＮＧイベントを受信後、前記車載器に、前記カメラの異常状態を解消するように指示する信号であるカメラＮＧ解消指示を送信し、
前記車載器から前記カメラＮＧ解消指示の了承信号を受信した後、一定時間以内に、前記カメラの状態が正常であると判断された際に生成されるカメラ設置ＯＫイベントを受信しない場合は、前記カメラの異常状態が解消できない旨を示す通知を生成する。

【0010】

前述した目的を達成するために、本発明に係る異常判定プログラムは、下記を特徴としている。
車両の車室内を撮影するカメラから撮影画像を取得するステップと、
前記車両の速度を含む車両情報を取得するステップと、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力するステップと、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断するステップと、
をコンピュータに実行させ、
前記カメラの状態の判断ステップにおいて、前記車両情報が前記車両の停止状態を示す場合、前記カメラの状態が異常であると判断しない、
異常判定プログラム。

【発明の効果】

【0011】

本発明によれば、車両の室内を撮影するカメラの異常状態を検出可能となる。

【0012】

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の実施形態に係る異常判定システムの概略構成図である。

【図2】図２は、車載器によるカメラの異常判定の手順を示す第１のフローチャートである。

【図3】図３は、車載器によるカメラの異常判定の手順を示す第２のフローチャートである。

【図4】図４は、車載器によるカメラの異常判定の手順を示す第３のフローチャートである。

【図5】図５は、車載器と通信端末を含む異常判定システムが、カメラの異常発生時に対応する手順を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本発明の実施形態に係る異常判定装置、車載器、異常判定システム及び異常判定プログラムについて説明する。

【0015】

図１に示す異常判定システム１００は、車載器５と、通信端末４０と、を備える。異常判定システム１００は、さらにサーバ５０を備えるが、サーバ５０は必須ではない。

【0016】

車載器５は、一般的なドライブレコーダ機能及びデジタルタコグラフ機能を有するとともに、本実施形態では、車両１の車室内を撮影するカメラ２０の異常状態の有無を判定する異常判定の機能を有する。異常判定の機能は、後述する異常判定装置１０によって実現される。車載器５は、例えば、基地局Ｂとの間で、ＬＴＥ（Long Term Evolution）／５Ｇ(5th Generation)等のモバイル通信網（携帯回線網）、無線ＬＡＮ（Local Area Network）、といった無線通信により接続される。

【0017】

通信端末４０は、例えば車両１を保有、管理する運行会社等の事務所に設置された汎用のコンピュータ装置で構成される。通信端末４０は、インターネット等のネットワーク（パケット通信網）Ｎに接続されており、ネットワークＮに接続された基地局Ｂと、ネットワークＮを介して通信が可能とされている。よって、通信端末４０は、車載器５と通信可能である。通信端末４０は、スマートフォン、タブレット等の持ち運び可能なモバイル端末であってもよく、このようなモバイル端末は、例えば、車載器５と同様に、基地局Ｂと無線通信により接続される。

【0018】

サーバ５０もネットワークＮに接続されており、例えば、車両１の安全運転支援に関連したサービスを提供するサービス会社が、運用、管理する。サーバ５０は、後述するように、車載器５の異常判定装置１０と同等の構成、機能を有することができる。

【0019】

異常判定装置１０は、本実施形態において車載器５に搭載されており、車両１に搭載されたカメラ２０の設置状態の異常の有無を判定する。カメラ２０は、車両１の室外、室内を撮影するものを含むが、本明細書では、カメラ２０は、車室内を撮影するものを想定している。

【0020】

車室内を撮影するカメラ２０は、種々の目的で使用することを想定しているが、その設置姿勢（設置角度）は、取付けの当初に調整された正規の位置に維持されることが望まれる。

【0021】

例えば、カメラ２０が乗務員を監視し、運転中のスマートフォン操作のような不適切な行為を検出した場合、運行会社の管理者へ通知することにより、不適切な行為を抑止する試みがなされている。このような機能を満たすためには、カメラ２０は正常な姿勢を維持し、乗務員の手元を常時撮像している必要がある。しかしながら、乗務員が故意にカメラを傾ける、不意に手が当たる等の理由により、カメラ２０の姿勢が変化すると、このような機能は有効にならなくなる。また、サンバイザーによってカメラ２０の画角が遮られ、画角内に対象物が映らなくなる等、カメラ２０による撮影映像に異常が発生した場合にも、このような機能は有効にならなくなる。

【0022】

そこで、本実施形態に係る異常判定装置１０は、車室内を撮影するカメラ２０の撮影画像に基づき、カメラ２０の設置状態に関する状態の異常の有無を判定する。これにより、異常が存在する場合、例えば、乗務員がサンバイザー等の遮蔽物をカメラ２０の画角外に移動させる、運行会社がカメラ２０の姿勢を調整する等といった、カメラ２０の設置状態の異常を解消するための速やかな対処を施すことが可能となる。

【0023】

異常判定装置１０は、画像取得部１１と、車両情報取得部１２と、画像認識部１３と、制御部１４と、報知部１５と、送受信部１６と、記憶部１７と、を備える。

【0024】

画像取得部１１は、車両１の車室内を撮影するカメラ２０から、カメラ２０が所定のタイミングで撮影した撮影画像を取得する。車両情報取得部１２は、少なくとも車両１の速度を含む車両情報を取得する。また、車両情報取得部１２は、車両部品３０の中の速度を検出する部品（例えばスピードメータ）から車両１の速度を取得することができる。

【0025】

画像認識部１３は、撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、対象物を検出できない場合はＮＧを認識結果として出力する。画像認識部１３が対象物を認識する手法、装置は特に限定されないが、例えば一般的な画像認識に用いられるＡＩ（人工知能）エンジンを利用することができる。対象物は、典型的には車両１の乗務員（運転手）の手や顔（頭部）といった身体の一部である。

【0026】

制御部１４は、異常判定装置１０の全体の制御をつかさどるコンピュータ、演算装置であり、異常判定装置１０の各部に対し、種々の命令を出し、制御を行う。特に本実施形態において、制御部１４は、画像認識部１３による認識結果がＯＫの場合に、カメラ２０の状態が正常であると判断し、認識結果がＮＧの場合に、カメラ２０の状態が異常であると判断する判断部としての機能を備えている。

【0027】

報知部１５は、判断部として機能する制御部１４が、カメラ２０の状態が異常であると判断した場合に、カメラ２０の異常発生を乗務員に報知する。報知部１５は、音による放置を行うスピーカでもよいし、警告表示をするディスプレイ、ランプ等であってもよい。

【0028】

送受信部１６は、基地局Ｂを介して、通信端末４０、サーバ５０と通信する部分であり、データを送信する送信部、データを受信する受信部として機能する。特に送受信部１６は、送信部として機能する場合、判断部として機能する制御部１４が、カメラ２０の状態が異常と判断した場合に、カメラ２０の異常発生を示す信号を、通信端末４０に送信する。

【0029】

記憶部１７は、メモリ等の記憶装置であり、異常判定装置１０が使用する種々のデータ、プログラム等を記憶する。特に記憶部１７は、カメラ２０の設置状態の異常の有無を判定する異常判定プログラムを記憶しており、制御部１４が異常判定プログラムを読み出すことにより、異常判定の各手順を実行することができる。

【0030】

車載器５は、図２～図４に示すように、制御部１４が記憶部１７から読み出した異常判定プログラムの手順に従って、カメラ２０の異常判定方法を実行する。まず、図２に示すように、画像取得部１１が、カメラ２０から撮影した撮影画像を取得するとともに、車両情報取得部１２が、車両部品３０から車両情報を取得する（ステップＳ１）。画像取得部１１及び車両情報取得部１２は、タイマー等のカウントにより取得した時刻を基準にして、撮影画像及び車両情報を同期して取得することができる。

【0031】

さらに車両情報取得部１２は、取得した車両情報から車両１の速度と、車両状態の情報を取得する（ステップＳ２）。車両情報は、少なくとも車両１の速度を含むが、本実施形態においては、車両状態に関する、「実車」と、「空車」と、「休憩中」といういずれかの状態を含む。

【0032】

一方で、画像認識部１３が、画像取得部１１が取得した撮影画像に対して画像認識を行い、認識結果を出力する（ステップＳ３）。認識結果は、対象物を検出した場合のＯＫ（認識結果ＯＫ）と、対象物を検出できない場合のＮＧ（認識結果ＮＧ）、のいずれかである。画像認識部１３は、例えばＡＩエンジンにより、対象物の一種である乗務員の手の検出を試み、手が検出できた場合は認識結果ＯＫを出力し、手が検出できない場合は認識結果ＮＧを出力する。対象物は、乗務員の手に限らず、乗務員の頭部の少なくとも一部といった身体の一部であってもよく、乗務員が装着する物品である手袋、名札、腕時計等であってもよい。

【0033】

次に制御部１４が、車両情報取得部１２が取得した車両情報に含まれる車両１の速度及び車両状態、さらには画像認識部１３による画像の認識結果を結合する（ステップＳ４）。制御部１４による結合は、取得した時間を基準に、画像毎に行うことができる。

【0034】

さらに制御部１４は、車両１の車両状態が実車か空車かを判定する（ステップＳ５）。実車又は空車である場合（ステップＳ５でＹｅｓ）、制御部１４は、車両１の速度に基づき、車両１の車両状態が走行中であるか否かを判定する（ステップＳ６）。車両１が走行中である場合（ステップＳ６でＹｅｓ）、制御部１４は、ステップＳ３で画像認識部１３が出力した認識結果（認識結果ＯＫまたは認識結果ＮＧのいずれか）をそのまま記憶部１７に保存する（ステップＳ７）。

【0035】

一方、ステップＳ５で、車両１の車両状態が実車でも空車でもないと判定された場合（ステップＳ５でＮｏ）、すなわち車両１が休憩中である場合、制御部１４は、ステップＳ３で画像認識部１３が出力した認識結果がＮＧ（対象物の検出不可）であるか否か確認する（ステップＳ８）。認識結果がＮＧである場合（ステップＳ８でＹｅｓ）、制御部１４は、元の認識結果であるＮＧをＯＫに補正し（ステップＳ９）、認識結果ＯＫを保存する。認識結果がＮＧでない場合（ステップＳ８でＮｏ）、すなわち認識結果がＹｅｓである場合、制御部１４は、元の認識結果をそのまま保存する。

【0036】

次に図３に示すように、制御部１４は、所定のタイミングで、予め設定された遡り時間（例えば１０分～２０分、ただし限定されない）分だけ、ステップＳ７における保存結果を遡る（ステップＳ１０）。制御部１４は、遡った時点から現時点までの認識結果がＮＧである画像の時間（ＮＧ時間）又は認識結果がＮＧである画像のフレーム数（ＮＧフレーム数）をカウントする（ステップＳ１１）。

【0037】

制御部１４は、カウントの結果、ＮＧ時間又はＮＧフレーム数が、設定値以上か否かを判断する（ステップＳ１２）。例えば、カメラ２０は１分間に６０～６００枚程度の画像を撮影し、制御部１４は、１０分の遡り時間分だけの画像、すなわち６００～６０００枚程度の画像のうち、ＮＧである画像の時間又はＮＧである画像のフレーム数を算出する。そして、設定値が８０％である場合、制御部１４は、全１０分の画像の時間又はフレーム数に対し、ＮＧ時間の占める割合又はＮＧフレーム数の占める割合が８０％以上であるか否かを判断する。

【0038】

ＮＧ時間又はＮＧフレーム数が大きいほど、カメラ２０は異常状態にある可能性が高いと推定できる。すなわち、ＮＧ時間又はＮＧフレーム数が設定値以上であれば、カメラの２０の設置状態が異常であると推定でき、ＮＧ時間又はＮＧフレーム数が設定値より小さければ、カメラの２０の設置状態が正常であると推定できる。

【0039】

よって、ＮＧ時間又はＮＧフレーム数が設定値以上でない場合（ステップＳ１２でＮｏ）、さらに制御部１４は、記憶部１７に保存された前回の判断が、認識結果ＮＧであるか否かを確認する（ステップＳ１３）。前回の判断が認識結果ＮＧでない、すなわち認識結果ＯＫである場合（ステップＳ１３でＮｏ）、前回の判断が、今回の判断にそのまま適用できるため、制御部１４は、前回と同様に、認識結果ＯＫを記憶部１７に保存する（ステップＳ１９）。

【0040】

なお、ステップＳ１２でＮＧ時間又はＮＧフレーム数が設定値以上である場合（ステップＳ１２でＹｅｓ）については後述する（図４のステップＳ２０～Ｓ２６）。

【0041】

一方、ＮＧ時間又はＮＧフレーム数が設定値以上でなかった、すなわち、カメラの２０の設置状態が正常であると推定できるにもかかわらず（ステップＳ１２でＮｏ）、前回の判断が認識結果ＮＧである場合（ステップＳ１３でＹｅｓ）、前回の判断をそのまま今回の判断に適用することはできない。そこで、制御部１４は、改めてカメラ設置ＯＫイベントを生成する（ステップＳ１４）。カメラ設置ＯＫイベントは、カメラ２０の状態が正常であると判断された際に生成される旨を示すイベントである。

【0042】

制御部１４は、報知部１５による音声出力の設定があるか否かを判断する（ステップＳ１５）。報知部１５による音声出力の設定がある場合（ステップＳ１５でＹｅｓ）、制御部１４の指示に基づき、報知部１５は、カメラ２０の状態が正常である旨のカメラ設置ＯＫの音声を出力する（ステップＳ１６）。報知部１５による報知が画像、信号等による場合、制御部１４は、報知部１５による表示出力の設定があるか否かを判断することができる。

【0043】

さらに制御部１４は、カメラ設置ＯＫイベントを通信端末４０のような外部機器に出力するイベント出力の設定があるか否かを判断する（ステップＳ１７）。イベント出力の設定がある場合（ステップＳ１７でＹｅｓ）、制御部１４の指示に基づき、送受信部１６は、カメラ設置ＯＫイベントを通信端末４０に送信する（ステップＳ１８）。制御部１４は、イベント出力の設定がない場合（ステップＳ１７でＮｏ）またはカメラ設置ＯＫイベントの送信後（ステップＳ１８）、認識結果ＯＫを記憶部１７に保存する（ステップＳ１９）。

【0044】

次に図４のフローチャートについて説明する。ステップＳ１２でＮＧ時間又はＮＧフレーム数が設定値以上であり（ステップＳ１２でＹｅｓ）、前回の判断が認識結果ＯＫでない、すなわち認識結果ＮＧである場合（ステップＳ１３でＮｏ）、前回の判断が、今回の判断にそのまま適用できるため、制御部１４は、前回と同様に、認識結果ＮＧを記憶部１７に保存する（ステップＳ２６）。

【0045】

一方、ステップＳ１２でＮＧ時間又はＮＧフレーム数が設定値以上であり（ステップＳ１２でＹｅｓ）、カメラの２０の設置状態が異常であると推定できるにもかかわらず、前回の判断が認識結果ＯＫである場合（ステップＳ２０でＹｅｓ）、前回の判断をそのまま今回の判断に適用することはできない。そこで、制御部１４は、改めてカメラ設置ＮＧイベントを生成する（ステップＳ２１）。カメラ設置ＮＧイベントは、カメラ２０の状態が正常でない、すなわち異常であると判断された際に生成される旨を示すイベントである。

【0046】

制御部１４は、報知部１５による音声出力の設定があるか否かを判断する（ステップＳ２２）。報知部１５による音声出力の設定がある場合（ステップＳ２２でＹｅｓ）、制御部１４の指示に基づき、報知部１５は、カメラ２０の状態が正常である旨のカメラ設置ＮＧの音声を出力する（ステップＳ２３）。報知部１５による報知が画像、信号等による場合、制御部１４は、報知部１５による表示出力の設定があるか否かを判断することができる。

【0047】

さらに制御部１４は、カメラ設置ＯＫイベントを通信端末４０のような外部機器に出力するイベント出力の設定があるか否かを判断する（ステップＳ２４）。イベント出力の設定がある場合（ステップＳ２４でＹｅｓ）、制御部１４の指示に基づき、送受信部１６は、カメラ設置ＮＧイベントを通信端末４０に送信する（ステップＳ２５）。制御部１４は、イベント出力の設定がない場合（ステップＳ２４でＮｏ）またはカメラ設置ＮＧイベントの送信後（ステップＳ２５）、認識結果ＮＧを記憶部１７に保存する（ステップＳ２６）。

【0048】

以上説明したように、制御部１４は、基本的に、画像認識部１３による認識結果がＯＫの場合に、カメラ２０の状態が正常であると判断し、認識結果がＮＧの場合に、カメラ２０の状態が異常であると判断することができる。

【0049】

これにより、画像認識部１３による認識結果にしたがって、車室内を撮影するカメラ２０の状態が正常か異常かを判断するので、映像を確認することなく、カメラ２０の異常を把握可能となる。よって、車室内を撮影するカメラ２０の設置姿勢（設置角度）にずれが生じていたり、撮影した映像に不具合がある等の異常が発生した場合、早期に異常の発生を検出できる。

【0050】

しかしながら、制御部１４は、車両情報が車両１の停止状態を示す場合、カメラ２０の状態が異常であると判断しない。すなわち、制御部１４は、休憩中（ステップＳ５でＮｏ）、停止中（ステップＳ６でＮｏ）のように、車両情報が車両１の停止状態を示す場合、カメラ２０の状態が異常であると判断することはしない。このことは、画像認識部１３の出力が認識結果ＯＫであれば当然だが、認識結果がＮＧの場合であっても、休憩中や停止中では乗務員が不在になることがあり得るので、ＮＧをＯＫに補正することにより維持される（ステップＳ９）。

【0051】

すなわち、車両１が停止している状態においては、車室内を撮影するカメラ２０の状態が異常であると判断しないので、不要な判断を避けられる。例えば、対象物が乗務員の手や顔など身体の一部である場合において、乗務員が降車しているときは、カメラ２０の状態が正常であっても、カメラ２０の撮影画像から対象物が検出されない。このような場合にはカメラ２０の状態を異常と判断しないことで、実際の状況に合ったカメラ２０の異常検出が可能となる。

【0052】

したがって、安全運転支援機能が必要とされる車両走行中において、カメラ２０の状態が異常となったことを、実際の状況に応じて早期に検出できる。よって、カメラ２０の撮影画像に基づく安全運転支援機能を適切に実行可能となる。

【0053】

また、制御部１４は、ステップＳ８及びステップＳ９のように、画像認識部１３による認識結果がＮＧの場合であっても、車両１が停止している状態においては、認識結果をＯＫに補正することができる。

【0054】

これにより、たとえ対象物を検出できない場合であっても、車両が停止していれば認識結果をＯＫに補正するため、カメラ２０の状態が異常であると誤って判断することを防止することができる。

【0055】

さらに制御部１４は、ステップＳ１１の前提として、遡り時間で得られた複数の撮影画像のそれぞれに対して、カメラ２０の状態が正常か異常かを仮に判断する。そして、所定枚数の撮影画像についての、この仮判断結果に占める、異常であった撮影画像の割合が一定値を超えた場合に、カメラ２０の状態が異常であると判断することができる（ステップＳ１２でＹｅｓ）。

【0056】

これにより、複数の撮影画像のそれぞれに対して、カメラ２０の状態を仮に判断したうえで、異常であった撮影画像の割合が一定値を超えるか否かに基づいてカメラ２０の状態を判定するため、カメラ２０の状態の判定精度を向上させることができる。

【0057】

本実施形態において、車両情報は、車両状態に関して、実車と、空車と、休憩中とを含んでおり、制御部１４は、車両情報を加味してカメラ２０の状態が正常か異常かを判断することができる。

【0058】

これにより、車両１がとり得る典型的な実車と、空車と、休憩中とを含む車両状態を加味してカメラ２０の状態を判定するため、カメラ２０の状態の判定精度を向上させることができる。

【0059】

さらに、画像認識部１３による認識結果がＮＧの場合において、車両状態が、実車及び空車のいずれでもないときは、すなわち休憩中であるときは、認識結果をＯＫに補正することができる（ステップＳ９）。これにより、休憩中であれば認識結果をＯＫに補正するため、カメラ２０の状態が異常であると誤って判断することを防止することができる。

【0060】

検出の対象となる対象物は、車両１の乗務員の身体の一部であってよい。これにより、車両１の車室内を撮影するカメラ２０が撮影する一般的な被写体である乗務員の検出の有無に基づいて、カメラ２０の状態を判定するため、カメラ２０の状態の判定精度を向上させることができる。

【0061】

実施形態の異常判定装置１０は、制御部１４がカメラ２０の状態が異常であると判断した場合に、カメラ２０の異常発生を報知する報知部１５を備えている（ステップＳ２３）。これにより、乗務員がカメラ２０の異常発生に気付きやすくなるため、速やかな対処が可能となる。

【0062】

また、実施形態の異常判定装置１０は、制御部１４がカメラ２０の状態が異常と判断した場合に、カメラ２０の異常発生を示す信号を、通信端末４０に送信する送受信部１６を備えている（ステップＳ２５）。これにより、通信端末４０を保持する者がカメラ２０の異常発生に気付きやすくなるため、速やかな対処が可能となる。

【0063】

本実施形態においては、車両に一般的に搭載される車載器５が、異常判定装置１０を備えている。車載器５が異常判定装置１０の機能を果たすため、車載器５の価値が向上する。

【0064】

図５に示すように、車載器５と通信端末４０を含む異常判定システム１００は、カメラ２０の異常発生時に、適切な対応をとることが可能である。まず、カメラ２０の異常時に、まず、車載器５が、ステップＳ２１で生成したカメラ設置ＮＧイベントを通信端末４０に送信する（ステップＳ５０）。通信端末４０がカメラ設置ＮＧイベントを受信すると（ステップＳ３０）、通信端末４０の管理者は、カメラ２０の異常状態を解消する指示であるカメラＮＧ解消指示を送信するか否かを判断する（ステップＳ３１）。管理者は、車両１、乗務員の状況等種々の容易に応じて、カメラ２０の異常状態を解消する指示を乗務員に出すか否かを判断する。カメラＮＧ解消指示を送信しない場合は（ステップＳ３１でＮｏ）、処理は終了し、後に改めてカメラ２０の異常状態を修正する。

【0065】

一方、カメラＮＧ解消指示を送信する場合（ステップＳ３１でＹｅｓ）、管理者の操作により、通信端末４０はカメラＮＧ解消指示を車載器５に送信する（ステップＳ３２）。通信端末４０はカメラＮＧ解消指示を受信する（ステップＳ５１）。車両１の乗務員は、この受信を例えば報知部１５により知ることができる。乗務員は、カメラＮＧ解消指示を了承するか否かを判断する（ステップＳ５２）。乗務員は、自身でカメラ２０の異常状態を解消できるか否か、異常の内容を確認したうえで判断する。

【0066】

カメラＮＧ解消指示を了承しない場合は（ステップＳ５２でＮｏ）、乗務員は、車載器５を用いてその旨（カメラＮＧ解消指示の拒否）を送信し、通信端末４０はカメラＮＧ解消指示の拒否を受信するので（ステップＳ３３）、処理は終了し、後に改めてカメラ２０の異常状態を修正する。

【0067】

一方、乗務員がカメラＮＧ解消指示を了承する場合（ステップＳ５２でＹｅｓ）、乗務員は、車載器５を用いてその旨（カメラＮＧ解消指示の了承）を送信し、通信端末４０はカメラＮＧ解消指示の了承を受信する（ステップＳ３４）。通信端末４０は、乗務員の作業の結果、カメラ２０の状態が正常となることにより車載器５から送信されるカメラ設置ＯＫイベントの受信待ちの状態に入り（ステップＳ３５）、カメラ設置ＯＫイベントを受信したか否かを判断し続ける（ステップＳ３６）。カメラ設置ＯＫイベントを受信すると（ステップＳ３６でＹｅｓ）、通信端末４０は、カメラ設置異常状態の解消が完了した旨をディスプレイ等に表示して管理者に知らせ（ステップＳ３７）、処理を終了する。

【0068】

カメラ設置ＯＫイベントを受信しない場合（ステップＳ３６でＮｏ）、通信端末４０は、ステップＳ３５のカメラ設置ＯＫイベントの受信待ちから一定時間が経過したか否かを判断し（ステップＳ３８）、一定時間が経過していない場合は（ステップＳ３８でＮｏ）、受信待ちを続行する（ステップＳ３５）。一定時間が経過した場合は（ステップＳ３８でＹｅｓ）、乗務員が一定時間作業に従事したものの、カメラ２０の状態を正常にできないと推定できる。よって、通信端末４０は、カメラ設置異常状態が解消できない旨をディスプレイ等に表示して管理者に知らせ（ステップＳ３９）、処理を終了する。

【0069】

上述したように異常判定システム１００において、通信端末４０は、車載器５から、カメラ２０の状態が異常であると判断された際に生成されるカメラ設置ＮＧイベントを受信後（ステップＳ３０）、車載器５に、カメラ２０の異常状態を解消するように指示するカメラＮＧ解消指示を送信することができる（ステップＳ３２）。さらに通信端末４０は、車載器５からカメラＮＧ解消指示の了承信号を受信した後（ステップＳ３４）、一定時間以内に、カメラ２０の状態が正常であると判断された際に生成されるカメラ設置ＯＫイベントを受信しない場合は（ステップＳ３８でＹｅｓ）、カメラ２０の異常状態が解消できない旨を示す通知を生成し、異常状態が解消不能である旨をディスプレイ等に表示する（ステップＳ３９）。

【0070】

これにより、車載器５と通信端末４０が、カメラ２０の状態に関するイベントをやり取りするため、カメラ２０の異常発生に対し、速やかな対処が可能となる。

【0071】

異常判定システム１００において、サーバ５０が、異常判定装置１０と同等の構成、機能を有することができる。この場合、サーバ５０は、ネットワークを経由して撮影画像、車両情報を受信し、図２～図４に示した異常判定装置１０による処理を行う。さらにサーバ５０は、図５において車載器５の代わりに、通信端末４０と情報のやり取りを行う。

【0072】

なお、通信端末４０が、車両１の運行に関する日報を生成する機能を有し、日報に、一日分の運行記録を示す速度チャート等とともに、カメラ２０がＮＧだった時間帯をバーで表示してもよい。この日報により、管理者は、車両１の実際の運行状況とカメラ２０の状態がＮＧだった時間帯とを総合的に考慮して乗務員の指導に役立てることができる。

【0073】

なお、本発明は上記各実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

【0074】

上記実施形態では、異常判定装置１０が、図２のステップＳ５、Ｓ６で車両状態を判断した後に、ステップＳ８で認識結果がＮＧかを判断し、認識結果がＮＧの場合にステップＳ９で認識結果をＮＧからＯＫに補正したが、異常判定処理の順序はこれに限定されない。例えば、車両状態が走行中か実車又は空車かを判断する前に、撮影画像の認識結果がＯＫかＮＧかを判断し、認識結果がＮＧの場合に車両状態を判断してもよい。

【0075】

ここで、上述した本発明の実施形態に係る異常判定装置、車載器、異常判定システム及び異常判定プログラムの特徴をそれぞれ以下［１］～［１１］に簡潔に纏めて列記する。

【0076】

［１］車両（１）の車室内を撮影するカメラ（２０）から撮影画像を取得する画像取得部（１１）と、
前記車両の速度を含む車両情報を取得する車両情報取得部（１２）と、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力する画像認識部（１３）と、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断する判断部（制御部１４）と、を備え、
前記判断部は、前記車両情報が前記車両の停止状態を示す場合、前記カメラの状態が異常であると判断しない、
異常判定装置（１０）。

【0077】

上記［１］の構成の異常判定装置によれば、画像認識部による認識結果にしたがって、車室内を撮影するカメラの状態が正常か異常かを判断するので、カメラの異常を検出できる。よって、車室内を撮影するカメラの設置姿勢（設置角度）にずれが生じていたり、撮影した映像に不具合がある等の異常が発生した場合、映像を確認することなく、早期に異常の発生を把握可能となる。

【0078】

また、車両が停止している状態においては、車室内を撮影するカメラの状態が異常であると判断しないので、不要な判断を避けられる。例えば、対象物が乗務員の手や顔など身体の一部である場合において、乗務員が降車しているときは、カメラの状態が正常であっても、カメラの撮影画像から対象物が検出されない。このような場合にはカメラの状態を異常と判断しないことで、実際の状況に合ったカメラの異常検出が可能となる。

【0079】

したがって、安全運転支援機能が必要とされる車両走行中において、カメラの状態が異常となったことを、実際の状況に応じて早期に検出できる。よって、カメラの撮影画像に基づく安全運転支援機能を適切に実行可能となる。

【0080】

［２］前記判断部は、前記認識結果がＮＧの場合であっても、前記車両が停止している状態においては、前記認識結果をＯＫに補正する、
［１］に記載の異常判定装置。

【0081】

上記［２］の構成の異常判定装置によれば、たとえ対象物を検出できない場合であっても、車両が停止していれば認識結果をＯＫに補正するため、カメラの状態が異常であると誤って判断することを防止することができる。

【0082】

［３］前記判断部は、複数の撮影画像のそれぞれに対して、前記カメラの状態が正常か異常かを仮に判断し、所定枚数の撮影画像についての仮判断結果に占める、異常であった撮影画像の割合が一定値を超えた場合に、前記カメラの状態が異常であると判断する、
［１］に記載の異常判定装置。

【0083】

上記［３］の構成の異常判定装置によれば、複数の撮影画像のそれぞれに対して、カメラの状態を仮に判断したうえで、異常であった撮影画像の割合が一定値を超えるか否かに基づいてカメラの状態を判定するため、カメラの状態の判定精度を向上させることができる。

【0084】

［４］前記車両情報は、車両状態に関して、実車と、空車と、休憩中とを含み、
前記判断部は、前記車両情報を加味して前記カメラの状態が正常か異常かを判断する、
［１］に記載の異常判定装置。

【0085】

上記［４］の構成の異常判定装置によれば、車両がとり得る典型的な実車と、空車と、休憩中とを含む車両状態を加味してカメラの状態を判定するため、カメラの状態の判定精度を向上させることができる。

【0086】

［５］前記認識結果がＮＧの場合において、前記車両状態が、実車及び空車のいずれでもないときは、前記認識結果をＯＫに補正する、
［４］に記載の異常判定装置。

【0087】

上記［５］の構成の異常判定装置によれば、休憩中であれば認識結果をＯＫに補正するため、カメラの状態が異常であると誤って判断することを防止することができる。

【0088】

［６］前記対象物は、前記車両の乗務員の身体の一部、又は、前記乗務員が装着する物品の一部である、
［１］に記載の異常判定装置。

【0089】

上記［６］の構成の異常判定装置によれば、車両の車室内を撮影するカメラが撮影する一般的な被写体である乗務員の身体の一部又は乗務員が装着する物品の一部の検出の有無に基づいて、カメラの状態を判定する。よって、乗務員が車室内にいない場合にカメラの状態が異常であると誤判定することを防止でき、カメラの状態の判定精度を向上させることができる。

【0090】

［７］前記判断部が前記カメラの状態が異常であると判断した場合に、前記カメラの異常発生を報知する報知部（１５）を備える、
［１］に記載の異常判定装置。

【0091】

上記［７］の構成の異常判定装置によれば、乗務員がカメラの異常発生に気付きやすくなるため、速やかな対処が可能となる。

【0092】

［８］前記判断部が前記カメラの状態が異常と判断した場合に、前記カメラの異常発生を示す信号を、通信端末に送信する送信部（送受信部１６）を備える、
［１］に記載の異常判定装置。

【0093】

上記［８］の構成の異常判定装置によれば、通信端末を保持する者がカメラの異常発生に気付きやすくなるため、速やかな対処が可能となる。

【0094】

［９］［１］から［８］のいずれかに記載の異常判定装置を備える車載器（５）。

【0095】

上記［９］の構成の車載器によれば、車載器が異常判定装置の機能を果たすため、車載器の価値が向上する。

【0096】

［１０］［９］に記載の車載器と、
前記車載器と通信可能な通信端末（４０）と、を備える異常判定システム（１００）であって、
前記通信端末は、
前記車載器から、前記カメラの状態が異常であると判断された際に生成されるカメラ設置ＮＧイベントを受信後、前記車載器に、前記カメラの異常状態を解消するように指示するカメラＮＧ解消指示を送信し、
前記車載器から前記カメラＮＧ解消指示の了承信号を受信した後、一定時間以内に、前記カメラの状態が正常であると判断された際に生成されるカメラ設置ＯＫイベントを受信しない場合は、前記カメラの異常状態ができない旨を示す異常解消不能通知を生成する、
異常判定システム。

【0097】

上記［１０］の構成の異常判定システムによれば、車載器と通信端末がカメラの状態に関するイベントをやり取りするため、カメラの異常発生に対し、速やかな対処が可能となる。

【0098】

［１１］車両の車室内を撮影するカメラから撮影画像を取得するステップ（Ｓ１）と、
前記車両の速度を含む車両情報を取得するステップ（Ｓ１、Ｓ２）と、
前記撮影画像に対して画像認識を行い、対象物を検出した場合はＯＫを認識結果として出力し、前記対象物を検出できない場合はＮＧを前記認識結果として出力するステップ（Ｓ３）と、
前記認識結果がＯＫの場合に、前記カメラの状態が正常であると判断し、前記認識結果がＮＧの場合に、前記カメラの状態が異常であると判断するステップ（Ｓ８）と、
をコンピュータに実行させ、
前記カメラの状態の判断ステップにおいて、前記車両情報が前記車両の停止状態を示す場合（Ｓ６でＮｏ）、前記カメラの状態が異常であると判断しない（Ｓ９）、
異常判定プログラム。

【0099】

上記［１１］の構成の異常判定プログラムによれば、画像認識部による認識結果にしたがって、カメラの状態が正常か異常かを判断するので、映像を確認することなく、カメラの異常を把握可能となる。よって、車室内を撮影するカメラの設置角度にずれが生じていたり、撮影した映像に不具合がある等の異常が発生した場合、早期に異常の発生を検出できる。

【符号の説明】

【0100】

１ 車両
５ 車載器
１０ 異常判定装置
１１ 画像取得部
１２ 車両情報取得部
１３ 画像認識部
１４ 制御部（判断部）
１５ 報知部
１６ 送受信部（送信部）
１７ 記憶部
２０ カメラ
３０ 車両部品
４０ 通信端末
５０ サーバ
１００ 異常判定システム

【図1】

【図2】

【図3】

【図4】

【図5】