(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-23
(45)【発行日】2022-01-18
(54)【発明の名称】監視装置、監視システム、監視方法及び監視プログラム
(51)【国際特許分類】
B60R 25/31 20130101AFI20220111BHJP
G08B 13/00 20060101ALI20220111BHJP
G08B 25/00 20060101ALI20220111BHJP
G08B 13/196 20060101ALI20220111BHJP
G08B 21/00 20060101ALI20220111BHJP
【FI】
B60R25/31
G08B13/00 B
G08B25/00 510M
G08B13/196
G08B21/00 U
(21)【出願番号】P 2017205589
(22)【出願日】2017-10-24
【審査請求日】2020-10-07
(73)【特許権者】
【識別番号】517075012
【氏名又は名称】金森 圭史朗
(74)【代理人】
【識別番号】100140866
【氏名又は名称】佐藤 武史
(72)【発明者】
【氏名】金森 圭史朗
【審査官】鈴木 貴晴
(56)【参考文献】
【文献】特開2012-121384(JP,A)
【文献】特開2013-088870(JP,A)
【文献】特開平11-091467(JP,A)
【文献】特開2013-074382(JP,A)
【文献】特開2017-141611(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 25/31
G08B 13/00-15/02,
19/00-21/24,
23/00-31/00
(57)【特許請求の範囲】
【請求項1】
自動車の外部を監視する監視装置であって、
物体の画像データを取得する画像データ取得手段と、
前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、
前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、
前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、
前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、
を有し、
前記通知条件は、前記速度が速くなったことである監視装置。
【請求項2】
前記物体認識手段は、深層学習(ディープラーニング)によって生成されたデータを参照する請求項1に記載の監視装置。
【請求項3】
前記監視対象と前記自動車との間の距離を推定する距離推定手段を有し、
前記通知条件は、前記監視対象が前記自動車から所定の距離以内に位置することである、
請求項1または請求項2に記載の監視装置。
【請求項4】
前記監視対象と前記自動車との間の距離に基づいて、外部に通知する通知態様を決定する通知態様決定手段を有する、
請求項3に記載の監視装置。
【請求項5】
前記監視対象が前記自動車に接近しているか否かを判断する接近判断手段を有し、
前記通知条件は、前記監視対象が前記自動車に接近していることである、
請求項1または2に記載の監視装置。
【請求項6】
前記通知手段によって前記通知条件を満たすことを所定の通知態様によって外部に通知した場合に、前記自動車の位置を示す位置情報を取得し、前記自動車を追跡する追跡手段を有する、
請求項1または請求項2に記載の監視装置。
【請求項7】
自動車の外部を監視する監視システムであって、
撮影手段が撮影した物体の画像データを取得する画像データ取得手段と、
前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、
前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、
前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、
前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、
を有
し、
前記通知条件は、前記速度が速くなったことである監視システム。
【請求項8】
自動車の外部を監視する監視装置が、
物体の画像データを取得する画像データ取得ステップと、
前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識ステップと、
前記物体認識ステップにおいて前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断ステップと、
前記通知条件を満たすことを所定の通知態様によって外部に通知する通知ステップと、
前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識ステップと、
を有し、
前記通知条件は、前記速度が速くなったことである監視方法。
【請求項9】
自動車の外部を監視する監視装置を管理する制御装置を、
物体の画像データを取得する画像データ取得手段、
前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段、
前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段、及び、
前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段、
前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段、
として機能させ、
前記通知条件は、前記速度が速くなったことである監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視装置、監視システム、監視方法及び監視プログラムに関する。
【背景技術】
【0002】
従来、自動車にカメラを搭載して、外部を監視する技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述の技術は、運転者が自動車に乗っているときには有効である。しかし、自動車の駐車中において、運転者が自動車から離れた場所にいるときに、自動車に危害を加えられることを防止することができない。
【0005】
本発明はかかる問題の解決を試みたものであり、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる監視装置、監視システム、監視方法及び監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第一の発明は、自動車の外部を監視する監視装置であって、物体の画像データを取得する画像データ取得手段と、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、を有し、前記通知条件は、前記速度が速くなったことである監視装置である。
【0007】
第一の発明の構成によれば、監視装置は、画像データ取得手段によって画像データを取得し、物体認識手段によって、画像データに含まれる物体のうち、監視対象を認識することができる。そして、通知条件判断手段によって通知条件を満たすか否かを判断し、通知手段によって外部に通知することができる。これにより、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる。
【0008】
第二の発明は、第一の発明の構成において、前記物体認識手段は、深層学習(ディープラーニング)によって生成されたデータを参照する無人監視装置である。
【0009】
第三の発明は、第一の発明または第二の発明のいずれかの構成において、前記監視対象と前記自動車との間の距離を推定する距離推定手段を有し、前記通知条件は、前記監視対象が前記自動車から所定の距離以内に位置することである、監視装置である。
【0010】
第四の発明は、第三の発明の構成において、前記監視対象と前記自動車との間の距離に基づいて、外部に通知する通知態様を決定する通知態様決定手段を有する、監視装置である。
【0011】
第五の発明は、第一の発明または第二の発明の構成において、前記監視対象が前記自動車に接近しているか否かを判断する接近判断手段を有し、前記通知条件は、前記監視対象が前記自動車に接近していることである、監視装置である。
【0013】
第七の発明は、第一の発明または第二の発明の構成において、前記通知手段によって前記通知条件を満たすことを所定の通知態様によって外部に通知した場合に、前記自動車の位置を示す位置情報を取得し、前記自動車を追跡する追跡手段を有する、監視装置である。
【0014】
第八の発明は、自動車の外部を監視する監視システムであって、撮影手段が撮影した物体の画像データを取得する画像データ取得手段と、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段と、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段と、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段と、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段と、を有し、前記通知条件は、前記速度が速くなったことである監視システムである。
【0015】
第九の発明は、自動車の外部を監視する監視装置が、物体の画像データを取得する画像データ取得ステップと、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識ステップと、前記物体認識ステップにおいて前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断ステップと、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知ステップと、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識ステップと、を有し、前記通知条件は、前記速度が速くなったことである監視方法ある。
【0016】
第十の発明は、自動車の外部を監視する監視装置を管理する制御装置を、物体の画像データを取得する画像データ取得手段、前記画像データに含まれる前記物体のうち、監視対象を認識する物体認識手段、前記物体認識手段が前記監視対象を認識した場合、外部に通知するための通知条件を満たすか否かを判断する通知条件判断手段、及び、前記通知条件を満たすことを所定の通知態様によって外部に通知する通知手段、前記監視対象が前記自動車に接近する速度の変化を認識する速度変化認識手段、として機能させ、前記通知条件は、前記速度が速くなったことである監視プログラムである。
【発明の効果】
【0017】
以上のように、本発明によれば、運転者が自動車から離れた場所にいるときに、自動車の外部の状況に応じた通知をすることができる。
【図面の簡単な説明】
【0018】
【
図2】撮影装置の機能ブロックを示す概略図である。
【
図3】監視装置の機能ブロックを示す概略図である。
【
図4】画像認識用特徴データを説明するための概念図である。
【
図9】監視装置等の動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
【0020】
図1に示すように、監視装置100は、自動車300を離れた運転者350のコートのポケットに格納されている。監視装置100は、例えば、携帯電話機(スマートフォンを含む)である。運転者350は、自動車300を道路R1の路肩の駐車スペースに駐車し、婦人352と共に食事に出かけるところである。自動車300のフロントガラスの内側上部近傍には、撮影装置10が配置されている。撮影装置10を構成するカメラ(図示せず)は撮影手段の一例である。撮影装置10は、例えば、ドライブレコーダーである。
【0021】
監視装置100は、運転者350が自動車300を離れているときに、撮影装置10が撮影した画像の画像データを撮影装置10から取得(受信)するようになっている。
【0022】
監視装置100は、画像認識により、撮影装置10から受信した画像データ中に、監視対象が含まれている場合に、その監視対象を認識する。監視対象は、例えば、所定の服装の人間であり、人間360及び362が該当する。人間360及び362は、それぞれ、赤色のジャケット360a及び362aを着用している。監視装置100は、画像データ中に監視対象を認識し、さらに、通知条件を満たす場合に、通知条件が成立したことを音や振動で運転者350に通知するようになっている。さらに、監視装置100は、所定条件を満たす場合に、撮影装置10に対して、撮影装置10の位置を示す位置情報を要求するようになっている。撮影装置10の位置は自動車300の位置でもある。これにより、自動車300が運転者350以外の者に移動させられた場合に、監視装置100が撮影装置10から位置情報を受信することにより、自動車300を追跡することができる。
【0023】
図2に示すように、撮影装置10は、CPU(Central Processing Unit)50、記憶部52、無線通信部54、GPS(Global Positioning System)部56、画像処理部60、及び、電源部70を有する。
【0024】
撮影装置10は、画像処理部60によって撮影装置10の中心的な構成であるカメラ(図示せず)を作動させて、外部の画像を取得することができる。
【0025】
撮影装置10は、無線通信部54によって画像データを監視装置100へ送信することができる。
【0026】
撮影装置10は、GPS部56によって、撮影装置10自体の位置を測定することができる。GPS部56は、基本的に、4つ以上のGPS衛星(航法衛星)からの電波を受信して撮影装置10の位置を計測する。
【0027】
電源部70は、自動車300の電源と接続し、自動車300から電力の供給を受けるようになっている。
【0028】
記憶部52には、ドライブレコーダーとしての一般的なプログラムのほか、停車時撮影プログラム、画像データ送信プログラム、位置情報送信プログラムが格納されている。CPU50と停車時撮影プログラムは停車時撮影手段の一例である。CPU50と画像データ送信プログラムは画像送信手段の一例である。CPU50と位置情報送信プログラムは位置情報送信手段の一例である。
【0029】
撮影装置10は、停車時撮影プログラムによって、自動車300の停車中に外部を撮影する。撮影装置10は、自動車300の走行中には継続的に外部を撮影しているが、自動車300が停車した場合であっても、使用者である運転者350によって、撮影装置10のカメラのスイッチが切られるなど、撮影中断の処理がなされない限り、外部の撮影を継続するようになっている。
【0030】
撮影装置10は、画像データ送信プログラムによって、停車中に撮影した画像の画像データを継続的に監視装置100へ送信するようになっている。
【0031】
撮影装置10は、位置情報送信プログラムによって、所定条件を満たした場合に、撮影装置10の位置を継続的に監視装置100へ送信するようになっている。所定条件は、監視装置100から位置情報の送信要求を受信したことである。
【0032】
図3に示すように、監視装置100は、CPU150、記憶部152、無線通信部154、GPS部156、及び、電源部170を有する。
【0033】
監視装置100は、無線通信部154によって撮影装置10から画像データを受信することができる。また、撮影装置10に対して、位置情報の送信要求を送信し、位置情報を受信することができる。
【0034】
監視装置100は、GPS部156によって、監視装置100自体の位置を測定することができる。
【0035】
電源部170は、充電可能な可充電電池であり、監視装置100の各部へ電力を供給するようになっている。
【0036】
記憶部152には、携帯電話機としての一般的なプログラムのほか、画像データ取得プログラム、物体認識プログラム、距離推定プログラム、接近判断プログラム、速度変化認識プログラム、通知条件判断プログラム、通知態様決定プログラム、通知プログラム、及び、追跡プログラムが格納されている。CPU150と画像データ取得プログラムは画像データ取得手段の一例である。CPU150と物体認識プログラムは物体認識手段の一例である。CPU150と距離推定プログラムは距離推定手段の一例である。CPU150と接近判断プログラムは接近判断手段の一例である。CPU150と速度変化認識プログラムは速度変化認識手段の一例である。CPU150と通知条件判断プログラムは通知条件判断手段の一例である。CPU150と通知態様決定プログラムは通知態様決定手段の一例である。CPU150と通知プログラムは通知手段の一例である。CPU150と追跡プログラムは追跡手段の一例である。
【0037】
監視装置100は、画像データ取得プログラムによって、撮影装置10から画像データを取得する。
【0038】
監視装置100は、物体認識プログラムによって、画像データに含まれる物体を認識し、監視対象を認識する。本実施形態において、監視対象は、赤色のジャケットを着ている男の人間であるとする。
【0039】
監視装置100は、物体認識プログラムによって、深層学習(ディープラーニング)によって生成された特徴データを参照する。ここで、深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。
【0040】
監視装置100は、カテゴリーごとの多数の画像認識用特徴データ(以下、「特徴情報」とも呼ぶ。)に基づいて、撮影装置10から取得した画像データに含まれる物体の特徴を識別して、物体のカテゴリーを認識できるようになっている。特徴情報は、記憶部152に格納しておいてもよいし、外部の記憶装置に記憶しておいて、監視装置100が外部の記憶装置にアクセスできるようにしておいてもよい。このカテゴリーの認識を一般物体認識と呼ぶ。
図4の画像認識用特徴データの概念図に示すように、カテゴリーは、例えば、「人間」、「犬」、「猫」等である。各カテゴリーは、細分化されており、「人間」のカテゴリーの中に、「男」、「女」等のサブカテゴリー1があり、サブカテゴリー1の「男」の中に、「ジャケット」、「パンツ」などのサブカテゴリー2があり、サブカテゴリー2の「ジャケット」の中に、「赤色」「青色」等のサブカテゴリー3がある。記憶部152には、上述のカテゴリーごとに、多数の特徴データが格納されている。監視装置100は、例えば、「人間」の多数の画像例に基づいて取得した「人間」の特徴情報を参照することができるようになっている。
【0041】
一般物体認識においては、画像データについて、例えば、輪郭や個々の構成の方向といった特徴を多数抽出し、ディープラーニングで取得した各カテゴリーの特徴と対比して、相関性(相関度)を判断する。相関度が高いほど、取得した画像中の物体が特定のカテゴリーに属する可能性が高い。例えば、相関度が0の場合には、特定のカテゴリーに属する可能性(以下、「カテゴリー共通確率」と呼ぶ。)は0として、相関度が最大値を示すときに、カテゴリー共通確率が100%であると定義する。監視装置100は、カテゴリー共通確率が所定の基準値である、例えば、95%以上であるときに、取得した画像中の物体のカテゴリーが、特定のカテゴリーに属すると判断する。
【0042】
取得した画像中に赤色のジャケットを着ている男の人間が含まれる場合、監視装置100は、上述の一般物体認識によって、特徴データを参照し、「人間」であり、「男」であり、「ジャケット」を着ており、ジャケットが「赤色」であると認識し、画像中の物体が監視対象であると認識する。
【0043】
監視装置100は、距離推定プログラムによって、監視対象と自動車300との間の距離を推定する。撮影装置10の画素数は例えば、300万画素である。撮影装置10の画素数と監視装置100の画素数は必ずしも同数である必要はないが、本実施形態においては、監視装置100の画総数は撮影装置10の画総数と同一であるとする。
【0044】
図5(a)に示すように、監視対象は画像データにおいて、その大きさに応じて、所定の画素数を占める。監視対象が占める画素数が多いほど、自動車300との距離は近い。監視装置100は、例えば、1m(メートル)の高さの棒が500m離れた位置にあるときの高さ方向の画素数、200メートル離れた位置にあるときの画素数、100メートル離れた位置にあるときの画素数、50メール離れた位置にあるときの画素数、10メートル離れた位置にあるときの画素数というような基本基準値を有している。また、カテゴリーごとに、例えば、「男」の「人間」であれば、平均身長が170cm(センチメートル)であるというカテゴリー基準値を有している。監視装置100は、基本基準値とカテゴリー基準値を参照して、実際の監視対象が占める画素数に基づいて、監視対象と自動車300との間の距離を推定するようになっている。例えば、「男」の「人間」であれば、平均身長が170cmとしたから、所定の距離における高さ方向における画素数は、1mの高さに基づく基本基準値Aの1.7倍の画素数(A×1.7)として計算する。なお、本実施形態において、推定した距離は正確であることを要せず、簡潔な構成が望ましいから、画像中の画素数に基づいて距離を推定するという構成となっている。
【0045】
監視装置100は、接近判断プログラムによって、監視対象が自動車300に接近しているか否かを判断する。例えば、
図6に示すように、時刻t1における監視対象が占める画素数(
図6(a)参照)よりも、時刻t1から時間Δtだけ経過した時刻t2における監視対象が占める画素数(
図6(b)参照)が多い場合に、監視装置100は、監視対象が自動車300に接近していると判断する。
【0046】
監視装置100は、速度変化認識プログラムによって、監視対象が自動車300に接近する速度の変化を認識する。監視装置100は、例えば、時刻t1から時間Δtだけ経過した時刻t2との間において監視対象が占める画素数の増加δB1が、その後の時間帯である、時刻t2から時間Δtだけ経過した時刻t3との間において監視対象が占める画素数の増加δB2よりも小さかった場合(δB1<δB2)には、監視対象が速度を速くしていると判断する。
【0047】
監視装置100は、通知条件判断プログラムによって、監視装置100の使用者である運転者350に通知条件の成立を通知するか否かを判断する。通知条件は、例えば、
図5(a)に示すように、監視対象を1名、画像データ中に認識した場合、
図5(b)に示すように、監視対象を2名、画像データ中に認識した場合、あるいは、
図6(a)及び(b)に示すように、監視対象が自動車300に接近している場合、あるいは、監視対象が速度を速めて自動車300に接近している場合である。通知条件は、監視装置100の使用者である運転者350が、予め選択し、設定しておくことができるようになっている。
【0048】
監視装置100は、通知態様決定プログラムによって、監視対象と自動車300との間の距離に基づいて、外部(運転者350)に通知する通知態様を決定する。監視装置100は、
図7に示すように、通知態様データを参照し、監視対象と自動車300との距離に応じて通知態様を決定する。通知態様データは、記憶部152に格納されている。距離200m~500mの場合の通知態様Aは、例えば、比較的小さな音(あるいは周波数の低い振動や低い音)であり、距離100m~200mの通知態様Bは、通体態様Aよりも大きな音(あるいは周波数が大きい振動、あるいは周波数が高い音)であるというように、自動車300と監視対象との距離が短くなるほど、大きな音(あるいは周波数が高い振動、周波数が高い音)になるように、規定されている。
【0049】
監視装置100は、通知プログラムによって、通知態様決定プログラムで決定した通知態様で、外部(運転者350)に通知する。
【0050】
監視装置100は、通知条件の成立を外部(運転者350)に通知すると、追跡プログラムによって、撮影装置10から位置情報を取得し、自動車300の位置を追跡する。すなわち、監視装置100は、通知条件の成立を外部に通知すると、撮影装置10に位置情報の送信要求を送信し、撮影装置10から継続的に位置情報を受信する。なお、監視装置100は、外部への通知の後、常に追跡を実施するのではなく、所定条件が成立した場合に実施してもよい。所定条件は、例えば、運転者350によって、監視装置100に追跡開始の指示が入力されたことである。監視装置100は、撮影装置10から位置情報を受信すると、
図8に示すように、撮影装置10の位置(自動車300の位置)を表示画面100a上に表示する。
図8の例では、表示画面100aにおいて、撮影装置10の最初の位置P1から経路R1を通過し、現在位置P2に到達したことが示されている。すなわち、監視装置100は、通知条件が成立すると、撮影装置10の位置(自動車300の位置)を追跡することができるから、自動者300が盗難にあっても、追跡することが可能である。
【0051】
以下、監視装置100及び撮影装置10の動作例を
図9のフローチャートで説明する。撮影装置10は画像を取得し(ステップST1)、画像データを送信すると(ステップST2)、監視装置100はその画像データを受信する(ステップST3)。監視装置100は、画像認識を行い(ステップST4)、通知条件を満たすか否かを判断し(ステップST5)、通知条件を満たす場合には、通知態様を決定し(ステップST6)、通知する(ステップST7)。続いて、所定条件(追跡条件)を満たすか否かを判断し(ステップST8)、追跡条件を満たす場合には、撮影装置10に位置情報を要求し(ステップST9)、撮影装置10から位置情報を受信し(ステップST10)、撮影装置10(自動車300)を追跡する(ステップST11)。
【0052】
上述の実施形態においては、撮影装置10は画像を取得し、監視装置100が撮影装置10から画像データを受信して画像認識以後の処理を実施するものとして説明したが、運転者350への通知以外の処理を撮影装置10に実施させるようにしてもよい。この場合、撮影装置10は、通知条件が成立したことを示す情報を監視装置100へ送信し、監視装置100が外部へ通知する構成となり、撮影装置10と監視装置100が一体となって監視装置、あるいは、監視システムを構成する。あるいは、運転者350への通知以外の処理の一部を撮影装置10に実施させるようにしてもよい。この場合においても、撮影装置10と監視装置100が一体となって監視装置、あるいは、監視システムを構成する。また、撮影装置10は、撮影できる装置であれば、ドライブレコーダーに限らず、携帯電話機やスマートフォンであってもよい。
【0053】
なお、本発明の監視装置、監視システム、監視方法及び監視プログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。
【符号の説明】
【0054】
10 撮影装置
100 監視装置
300 自動車
352 運転者
360,362 監視対象