(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023158528
(43)【公開日】2023-10-30
(54)【発明の名称】情報処理装置、方法、及びプログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20231023BHJP
G08G 1/16 20060101ALI20231023BHJP
G07C 5/00 20060101ALI20231023BHJP
【FI】
G08G1/00 D
G08G1/16 C
G07C5/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022068425
(22)【出願日】2022-04-18
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000155469
【氏名又は名称】株式会社野村総合研究所
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100187078
【弁理士】
【氏名又は名称】甲原 秀俊
(74)【代理人】
【識別番号】100224694
【弁理士】
【氏名又は名称】伊藤 孝志
(72)【発明者】
【氏名】福井 宏依
(72)【発明者】
【氏名】児玉 史
(72)【発明者】
【氏名】兼平 克巳
【テーマコード(参考)】
3E138
5H181
【Fターム(参考)】
3E138AA07
3E138MA01
3E138MB08
3E138MC06
3E138MC17
3E138MC20
5H181AA01
5H181BB05
5H181CC02
5H181CC04
5H181CC12
5H181CC14
5H181CC27
5H181FF04
5H181FF10
5H181FF27
5H181FF32
5H181LL01
5H181LL02
5H181LL07
5H181LL08
(57)【要約】
【課題】運転画像の保存に関する技術を改善する。
【解決手段】情報処理装置20は、車両10の周辺が撮像された画像を保存し、車両10の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、車両10の挙動に異常があると判定された場合、画像の保存を維持すると決定し、車両10の挙動に異常があると判定されなかった場合、画像を削除すると決定する制御部23を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置であって、
車両の周辺が撮像された画像を保存し、
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える、情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記制御部は、前記ユーザの挙動に異常があると判定された場合、前記車両の挙動に異常があると判定する、情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声したことであり、
前記制御部は、前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定する、情報処理装置。
【請求項4】
請求項1から3の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記制御部は、前記異常音が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
【請求項5】
請求項1から3の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記制御部は、前記異常振動が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
【請求項6】
請求項1から3の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
前記制御部は、所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
【請求項7】
請求項1から3の何れか一項に記載の情報処理装置であって、
前記制御部は、前記少なくとも1つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定する、情報処理装置。
【請求項8】
情報処理装置が実行する方法であって、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を含む、方法。
【請求項9】
請求項8に記載の方法であって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを更に含む、方法。
【請求項10】
請求項9に記載の方法であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声することであり、
前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを更に含む、方法。
【請求項11】
請求項8から10の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
【請求項12】
請求項8から10の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
【請求項13】
請求項8から10の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
【請求項14】
請求項8から10の何れか一項に記載の方法であって、
前記少なくとも1つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定することを更に含む、方法。
【請求項15】
情報処理装置に、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を実行させるプログラム。
【請求項16】
請求項15に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【請求項17】
請求項16に記載のプログラムであって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声することであり、
前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【請求項18】
請求項15から17の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【請求項19】
請求項15から17の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【請求項20】
請求項15から17の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、車両の運転状況の評価・保存に関する技術が求められている。例えば、特許文献1には、運転状況を評価する技術が開示されている。また、事故発生時の運転画像の保存に関する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の運転画像の保存は、事故を検知したとき(大きな加速度を検知したとき)のみ画像が保存されるものであり、運転画像の保存に関する技術には改善の余地があった。
【0005】
かかる事情に鑑みてなされた本開示の目的は、運転画像の保存に関する技術を改善することにある。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る情報処理装置は、
情報処理装置であって、
車両の周辺が撮像された画像を保存し、
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える。
【0007】
本開示の一実施形態に係る方法は、
情報処理装置が実行する方法であって、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を含む。
【0008】
本開示の一実施形態に係るプログラムは、
情報処理装置に、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を実行させる。
【発明の効果】
【0009】
本開示の一実施形態によれば、運転画像の保存に関する技術が改善される。
【図面の簡単な説明】
【0010】
【
図1】本開示の一実施形態に係るシステムの概略構成を示すブロック図である。
【
図3】情報処理装置の概略構成を示すブロック図である。
【
図4】情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について説明する。
【0012】
<実施形態の概要>
図1を参照して、本開示の実施形態に係るシステム1の概要について説明する。システム1は、車両10と、情報処理装置20と、を備える。車両10及び情報処理装置20は、例えばインターネット及び移動体通信網等を含むネットワーク30と通信可能に接続される。
【0013】
車両10は、例えば自動車であるが、これに限られず任意の車両であってもよい。自動車は、例えばガソリン車、ディーゼル車、HEV(hybrid electric vehicle)、PHEV(plug-in hybrid electric vehicle)、BEV(battery electric vehicle)、又はFCEV(fuel cell electric vehicle)等の任意の種類の自動車である。車両10は、本実施形態では運転手によって運転されるが、任意のレベルで運転が自動化されていてもよい。自動化のレベルは、例えば、SAE(Society of Automotive Engineers)のレベル分けにおけるレベル1からレベル5の何れかである。車両10は、MaaS(Mobility as a Service)専用車両でもよい。システム1が備える車両10の数は、任意に定め得る。
【0014】
本実施形態において車両10は、車両10の周辺が撮像された画像を取得し、保存及び/又は送信する機能を有する。また、車両10は、車両10の挙動を示す情報(指標)を取得し、送信する。
【0015】
情報処理装置20は、例えばサーバ装置等のコンピュータである。情報処理装置20は、ネットワーク30を介して車両10と通信可能である。
【0016】
まず、本実施形態の概要について説明し、詳細については後述する。情報処理装置20は、車両10の周辺が撮像された画像を保存する。情報処理装置20は、車両10の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、車両10の挙動に異常があるか否かを判定する。情報処理装置20は、車両10の挙動に異常があると判定された場合、画像の保存を維持すると決定する。情報処理装置20は、車両10の挙動に異常があると判定されなかった場合、画像を削除すると決定する。
【0017】
このように、本実施形態によれば、加速度以外の少なくとも1つの指標に基づいて、車両10の挙動に異常があると判定された場合、車両10の周辺が撮像された画像の保存が維持される。ここで、車両10の挙動には、加速度(G値)に基づいて危険と判定される挙動だけでなく、加速度では危険と判定されない挙動であっても危険な運転に繋がるおそれのある挙動(例えば、車両10の異常音が発生したこと、又はユーザが驚いた声を発したこと等)も存在する。いずれの挙動も同等に、ユーザが画像の保存を必要とする可能性の高い挙動といえる。しかしながら、従来のドライブレコーダ等のカメラでは、加速度に基づいて危険と判定されない挙動については、画像が削除されてしまう。このため、ユーザが画像の保存を必要とする可能性の高い挙動について画像の保存を漏れなく維持することが困難であった。一方、本実施形態によれば、加速度に関わらず危険な運転に繋がるおそれのある挙動について、画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる点で、運転画像の保存に関する技術が改善される。
【0018】
次に、システム1の各構成について詳細に説明する。
【0019】
<車両の構成>
図2に示すように、車両10は、通信部11と、取得部12と、撮像部13と、出力部14と、入力部15と、記憶部16と、制御部17と、を備える。
【0020】
通信部11は、ネットワーク30に接続する1つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応するが、これらに限られない。本実施形態において、車両10は、通信部11及びネットワーク30を介して情報処理装置20と通信する。
【0021】
取得部12は、車両10の位置情報を取得する1つ以上の装置を含む。具体的には、取得部12は、例えばGPS(Global Positioning System)に対応する受信機を含むが、これに限られず、任意の衛星測位システムに対応する受信機を含んでもよい。また、取得部12は、車両10の状態を示す情報を取得可能な任意のセンサモジュールも含む。例えば、センサモジュールは、振動センサ、赤外線センサ、速度センサ、角速度センサ、加速度センサ、地磁気センサ、LiDAR(light detection and ranging)等の距離センサ、又はこれらの組合せを含む。
【0022】
撮像部13は、1つ以上のカメラを含む。撮像部13に含まれる各カメラは、例えば車外又は車内の被写体を撮像可能となるように車両10に設けられてもよい。本実施形態において撮像部13は、車両10の前方の被写体を撮像可能なフロントカメラと、車両10の後方の被写体を撮像可能なリアカメラと、車両10の車内の被写体を撮像可能な車内カメラと、を含む。或いは、撮像部13は、車両10の周辺の被写体を撮像可能な全方位カメラを含んでもよい。また、撮像部13は、車外又は車内の被写体を撮像可能となるように車両10に設置されたドライブレコーダ等のカメラと通信可能な入力インタフェースを含み、車両10に乗車する複数のユーザの画像を当該カメラから取得可能であってもよい。
【0023】
出力部14は、情報を出力してユーザに通知する1つ以上の出力装置を含んでもよい。当該出力装置は、例えば情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限られない。出力部14は、外部の出力装置を接続するためのインタフェースを含んでもよい。
【0024】
入力部15は、ユーザ入力を検出する1つ以上の入力装置を含む。本実施形態において、入力部15は、ユーザの発声する音声及び車両10の発する音の入力を受け付けるマイクロフォンを含む。しかしながら、当該入力装置は、これらの例に限られず、例えば物理キー、静電容量キー、又はディスプレイと一体的に設けられたタッチスクリーン等を含んでもよい。入力部15は、外部の入力装置を接続するためのインタフェースを含んでもよい。
【0025】
記憶部16は、1つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部16に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部16は、車両10の動作に用いられる任意の情報を記憶する。例えば、記憶部16は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部16に記憶された情報は、例えば通信部11を介してネットワーク30から取得される情報で更新可能であってもよい。本実施形態において、記憶部16は、車両10の周辺が撮像された画像(又は映像)を保存してもよい。
【0026】
制御部17は、1つ以上のプロセッサ、1つ以上のプログラマブル回路、1つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばCPU(Central Processing Unit)若しくはGPU(Graphics Processing Unit)等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばFPGA(Field-Programmable Gate Array)であるがこれに限られない。専用回路は、例えばASIC(Application Specific Integrated Circuit)であるがこれに限られない。制御部17は、車両10全体の動作を制御する。
【0027】
<情報処理装置の構成>
図3に示すように、情報処理装置20は、通信部21と、記憶部22と、制御部23と、を備える。
【0028】
通信部21は、ネットワーク30に接続する1つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば移動体通信規格、有線LAN(Local Area Network)規格、又は無線LAN規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置20は、通信部21及びネットワーク30を介して車両10と通信する。
【0029】
記憶部22は、1つ以上のメモリを含む。記憶部22に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部22は、情報処理装置20の動作に用いられる任意の情報を記憶する。例えば、記憶部22は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部22に記憶された情報は、例えば通信部21を介してネットワーク30から取得される情報で更新可能であってもよい。本実施形態において、記憶部22は、車両10から受信した車両10の周辺が撮像された画像(又は映像)を保存することができる。
【0030】
制御部23は、1つ以上のプロセッサ、1つ以上のプログラマブル回路、1つ以上の専用回路、又はこれらの組合せを含む。制御部23は、情報処理装置20全体の動作を制御する。
【0031】
<情報処理装置の動作フロー>
図4を参照して、本実施形態に係る情報処理装置20の動作について説明する。
図4の動作は、本実施形態に係る方法に相当する。
図4の動作は、例えば所定の周期で、繰り返し実行される。所定の周期は、任意に定めることができる。
【0032】
ステップS100:情報処理装置20の制御部23は、車両10の周辺が撮像された画像を保存する。
【0033】
具体的には、情報処理装置20の制御部23は、通信部21及びネットワーク30を介して車両10から、車両10の撮像部13により任意のフレームレートで撮像された、車両10の周辺の画像(以下、「撮像画像」ともいう。)を受信する。制御部23は、受信された撮像画像を記憶部22に記憶することで、車両10の周辺が撮像された画像を保存する。しかしながら、撮像画像の保存には、これに限られず任意の手法が採用可能である。また、撮像画像は、本実施形態では記憶部22に記憶されるが、これに限られない。例えば、撮像画像は、外部のストレージに記憶され情報処理装置20に接続されてもよく、車両10の記憶部16に記憶されてもよい。
【0034】
さらに、本実施形態では、車両10の撮像部13による撮像と同時に、入力部15による、車両10に乗車中のユーザの挙動の記録及び車両10の発する音の録音、並びに、取得部12による、車両10の発する振動の測定及び車両10と車両10の周辺に位置する物体との距離の測定も行われる。そして、情報処理装置20の制御部23は、通信部21及びネットワーク30を介して車両10から、上述の撮像画像に加えて、撮像画像に付随する以下の(1)から(4)の情報を受信する。
(1)車両10に乗車中のユーザの挙動を示す情報(以下、「第1情報」ともいう。)
(2)車両10の異常音の有無を示す情報(以下、「第2情報」ともいう。)
(3)車両10の異常振動の有無を示す情報(以下、「第3情報」ともいう。)
(4)車両10と車両10の周辺に位置する物体との距離を示す情報(以下、「第4情報」ともいう。)
【0035】
上記(1)の第1情報は、車両10に乗車中のユーザの発声又は身体の動き等、ユーザの挙動を示す任意の情報を含み得る。車両10に乗車中のユーザは、1人であることも複数人であることもあるが、以下の説明では1人のユーザ、即ち車両10の運転者のみが車両10に乗車中であるものとする。ユーザの挙動は、任意の挙動を含み得るが、本実施形態ではユーザがユーザの平静音声である第1音声又は第1音声とは異なる第2音声を発声したことである。したがって、本実施形態に係る第1情報は、車両10の入力部15を介して録音されるユーザの音声を示す情報である。入力部15を介して録音されるユーザの音声は、第1音声又は第2音声を含む。ユーザの平静音声である第1音声とは異なる第2音声は、ユーザの危機的状況を示唆する任意の音声であり得るが、本実施形態ではユーザの驚いた声(典型的には、悲鳴)である。
【0036】
上記(2)の第2情報は、車両10の発する音を示す任意の情報を含み得るが、本実施形態では車両10の入力部15を介して録音される車両10の発する音を示す情報である。入力部15を介して録音される車両10の発する音は、正常音又は異常音を含む。正常音とは、車両10の事故又は故障が生じていない状況で、車両10の構成部品が発する音のことである。異常音とは、車両10の事故又は故障が生じたときに、車両10の構成部品が発する音のことである。例えば、異常音としては、車両10と他の物体との衝突若しくは接触による音、急ブレーキ時のタイヤの摩擦音、又はエンジントラブル等の車両故障による音が挙げられる。
【0037】
上記(3)の第3情報は、車両10の発する振動を示す任意の情報を含み得るが、本実施形態では車両10の取得部12を介して測定される車両10の発する振動の測定値である。取得部12を介して測定される車両10の発する振動は、正常振動又は異常振動を含む。正常振動とは、車両10の事故又は故障が生じていない状況で、車両10の構成部品が発する振動のことである。異常振動とは、車両10の事故又は故障が生じたときに、車両10の構成部品が発する振動のことである。例えば、異常振動としては、車両10と他の物体との衝突若しくは接触による振動、急ブレーキ時の車体の振動、又はエンジントラブル等の車両故障による振動が挙げられる。
【0038】
上記(4)の第4情報は、車両10と車両10の周辺に位置する物体との距離を示す任意の情報を含み得るが、本実施形態では車両10の取得部12を介して測定される車両10と車両10の周辺に位置する物体との距離の測定値(以下、「距離D」ともいう。)である。物体は、例えば別の車両、障害物、人、動物、又はこれらの組合せを含む。距離Dの算出には、任意の手法が採用可能である。例えば、車両10の制御部17は、取得部12を介して取得される車両10の位置情報、距離センサ等から取得される周囲の物体との距離情報、及び/又は車両10の撮像部13を介して取得される撮像画像を解析することで、距離Dを算出してもよい。
【0039】
制御部23は、受信された第1情報から第4情報を記憶部22に記憶しておく。そして、制御部23は、
図4の動作を実行する度に、任意のフレーム数の撮像画像に付随する、第1情報、第2情報、第3情報、又は第4情報を、記憶部22から読み出すことで取得する。なお、ここで取得される第1情報から第4情報は、後述する車両挙動判定において、加速度以外の少なくとも1つの指標として使用され得る。しかしながら、第1情報から第4情報の取得には、これらの例に限られず任意の手法が採用可能である。
【0040】
ステップS101:制御部23は、車両10の挙動を示す、加速度以外の少なくとも1つの指標を取得する。少なくとも1つの指標は、車両10の挙動を特定し得る、加速度以外の任意の情報を含む。少なくとも1つの指標は、車両10の外部から取得される指標、車両10に内在する指標、又はその両方であり得る。
【0041】
具体的には、制御部23は、ステップS100で記憶部22に記憶された第1情報から第4情報のうちの少なくとも1つを記憶部22から読み出すことで、少なくとも1つの指標として取得する。なお、以下の説明から分かるように、ここで取得される指標の数が多いほど、加速度に関わらず危険な運転に繋がるおそれのある挙動について、画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる。よって、取得される指標の数は、多いほど好ましい。以下では、少なくとも1つの指標は、第1情報から第4情報の全てを含むものとして説明を行う。
【0042】
次に、情報処理装置20の制御部23は、ステップS101で取得された少なくとも1つの指標に基づいて、車両10の挙動に異常があるか否かを判定する(以下、「車両挙動判定」ともいう)。具体的には、制御部23は、後述するステップS102からS105の動作を実行することで、車両挙動判定を行う。車両挙動判定の概要は、次のとおりである。ステップS102からS105の何れかのステップで判定結果が肯定的である場合、制御部23は、車両10の挙動に異常があると判定する。この場合、ステップS100で記憶部22に保存された撮像画像の保存が維持される(後述するステップS107)。一方、ステップS102からS105の全てのステップで判定結果が否定的である場合、制御部23は、車両10の挙動に異常があると判定しない。この場合、ステップS100で記憶部22に保存された撮像画像が削除される(後述するステップS106)。
【0043】
以下、本実施形態に係る車両挙動判定について詳述する。なお、従来は撮像画像の保存の維持が困難であった期間について撮像画像の保存を維持しやすくなることに焦点をあてるために、以下では、車両10の加速度が閾値以下である期間に車両挙動判定を実行することを前提に説明を行う。車両10の加速度が閾値を超えた期間については、従来と同様の処理が実行されてもよい。例えば、制御部23は、車両10の加速度が閾値を超えたことが検知された場合、記憶部22における所定のフレーム数(例えば、検知時点の前後数秒間)の撮像画像の保存を維持すると決定してもよい。一方、車両10の加速度が閾値以下であり、且つ、ステップS102からS105の各ステップで判定結果が否定的である場合、制御部23は、記憶部22に保存された撮像画像を削除すると決定してもよい。
【0044】
ステップS102:制御部23は、ステップS101で取得された第1情報に基づいて、ユーザの挙動に異常があるか否かを判定する(以下、「ユーザ挙動判定」ともいう。)。ユーザの挙動に異常があると判定された場合(ステップS102-Yes)、プロセスはステップS107に進む。一方、ユーザの挙動に異常があると判定されなかった場合(ステップS102-No)、プロセスはステップS103に進む。
【0045】
具体的には、制御部23は、ステップS101で取得されたユーザの音声が第1音声であるのか第2音声であるのかを判定する(以下、「音声判定」ともいう)。音声判定には、任意の手法が採用可能である。例えば、情報処理装置20の制御部23は、平静音声と危機的状況を示唆する音声とを分類するモデルを構築してもよい、モデルの構築には、任意の手法が採用可能である。例えば、複数の男女の平静音声と危機的状況を示唆する音声とを収録して多数のサンプルを収集し、各音声のスペクトログラム又はケプストログラム等の物理的特徴量を抽出してディープラーニング等の機械学習を行うことで、モデルを構築してもよい。制御部23は、構築されたモデルに基づいて、受信されたユーザの音声を音声解析し、音声解析の結果に基づいて、当該音声がユーザの第1音声であるのか第2音声であるのかを判定し得る。音声解析の結果、受信されたユーザの音声が第2音声であると判定された場合、制御部23は、ユーザの挙動に異常があると判定する。
【0046】
ステップS103:ユーザの挙動に異常があると判定されなかった場合(ステップS102-No)、制御部23は、ステップS101で取得された第2情報に基づいて、車両10の異常音が検知されたか否かを判定する。車両10の異常音が検知された場合(ステップS103-Yes)、プロセスはステップS107に進む。一方、車両10の異常音が検知されなかった場合(ステップS103-No)、プロセスはステップS104に進む。
【0047】
具体的には、制御部23は、ステップS101で取得された車両10の発する音が正常音であるのか異常音であるのかを判定する(以下、「車両音判定」ともいう)。制御部23は、当該音が異常音である場合、車両10の異常音が検知されたと判定する。車両音判定には、任意の手法が採用可能である。例えば、情報処理装置20の制御部23は、車両10の発する音の大きさを示す値(例えば、dB単位)が所定の閾値以下である場合、車両10の発する音が正常音であると判定し、当該値が所定の閾値を超える場合、車両10の発する音が異常音であると判定してもよい。所定の閾値は、任意に設定可能であり、例えば、高音/低音等の周波数帯域ごとに閾値を設定してもよい。
【0048】
ステップS104:車両10の異常音が検知されなかった場合(ステップS103-No)、制御部23は、ステップS101で取得された第3情報に基づいて、車両10の異常振動が検知されたか否かを判定する。車両10の異常振動が検知された場合(ステップS104-Yes)、プロセスはステップS107に進む。一方、車両10の異常振動が検知されなかった場合(ステップS104-No)、プロセスはステップS105に進む。
【0049】
具体的には、制御部23は、ステップS101で取得された車両10の発する振動が正常振動であるのか異常振動であるのかを判定する(以下、「振動判定」ともいう)。制御部23は、当該振動が異常振動である場合、車両10の異常振動が検知されたと判定する。振動判定には、任意の手法が採用可能である。例えば、情報処理装置20の制御部23は、車両10の発する弾性振動の周波数を示す値(例えば、Hz単位)が所定の閾値範囲である場合、車両10の発する振動が正常振動であると判定し、当該値が所定の閾値範囲を超える場合、車両10の発する振動が異常振動であると判定してもよい。所定の閾値範囲は、任意に設定可能である。或いは、情報処理装置20の制御部23は、車両10の発する弾性振動の振動強度(例えば、振動振幅)を示す値が所定の閾値以下である場合、車両10の発する振動が正常振動であると判定し、当該値が所定の閾値を超える場合、車両10の発する振動が異常振動であると判定してもよい。所定の閾値は、任意に設定可能である。
【0050】
ステップS105:車両10の異常振動が検知されなかった場合(ステップS104-No)、制御部23は、ステップS101で取得された第4情報に基づいて、所定の閾値以下の距離に接近した物体(以下、「接近物体」ともいう。)が検知されたか否かを判定する。接近物体が検知された場合(ステップS105-Yes)、プロセスはステップS107に進む。一方、接近物体が検知されなかった場合(ステップS105-No)、プロセスはステップS106に進む。
【0051】
具体的には、制御部23は、ステップS101で取得された距離Dが所定の閾値以下であるか否かを判定する(以下、「距離判定」ともいう)。制御部23は、距離Dが所定の閾値以下である場合、接近物体が検知されたと判定する。想定される接近物体は、上述のとおり、別の車両、障害物、人、動物、又はこれらの組合せであり得る。所定の閾値は、任意に設定可能であり、例えば想定される接近物体ごとに又は車両10の走行速度ごとに異なる値が設定されてもよい。例えば、別の車両に関する所定の閾値として、日本の道路交通法に規定される車間距離保持義務に違反しない任意の距離が設定されてもよい。
【0052】
ステップS106:接近物体が検知されなかった場合(ステップS105-No)、制御部23は、ステップS100で記憶部22に記憶された撮像画像を削除すると決定する。その後、プロセスは終了する。
【0053】
具体的には、制御部23は、ステップS100で記憶部22に記憶された撮像画像を記憶部22から削除する。撮像画像の削除には、任意の手法が採用可能である。例えば、制御部23は、撮像画像が記憶部22に保存された時点から所定時間経過後に、撮像画像を記憶部22から削除してもよい。
【0054】
ステップS107:ユーザの挙動に異常があると判定された場合(ステップS102-Yes)、車両10の異常音が検知された場合(ステップS103-Yes)、車両10の異常振動が検知された場合(ステップS104-Yes)、又は接近物体が検知された場合(ステップS105-Yes)、制御部23は、ステップS100で記憶部22に記憶された撮像画像の保存を維持すると決定する。その後、プロセスは終了する。
【0055】
具体的には、ステップS102からS105の各ステップの判定結果の何れかが肯定的である場合、制御部23は、車両10の挙動に異常があると判定し、ステップS100で記憶部22に記憶された撮像画像の保存を維持すると決定する。制御部23は、記憶部22から当該撮像画像を削除せず、記憶部22における当該撮像画像の保存を維持する。撮像画像の保存の維持には、任意の手法が採用可能である。例えば、制御部23は、記憶部22における所定のフレーム数(例えば、車両10の挙動に異常があると判定された時点の前後数秒間)の撮像画像について保存を維持してもよい。なお、
図4のフローチャートにおいては、ステップS102からS105の順に判定を行ったが、ステップS102からS105の各ステップは、どのような順に配列されてもよく、任意の順番で各ステップの判定を行ってよい。また、各ステップを並行して実行してもよい。
【0056】
このように、ステップS101からS107を経て、制御部23は、車両10の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、車両10の挙動に異常があると判定された場合、ステップS100で記憶部22に記憶された撮像画像の保存を維持すると決定し、車両10の挙動に異常があると判定されなかった場合、当該撮像画像を削除すると決定する。
【0057】
以上述べたように、本実施形態に係る情報処理装置20は、車両10の周辺が撮像された画像を保存する。情報処理装置20は、車両10の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、車両10の挙動に異常があると判定された場合、画像の保存を維持すると決定し、車両10の挙動に異常があると判定されなかった場合、画像を削除すると決定する。
【0058】
かかる構成によれば、従来とは異なり、加速度に関わらず危険な運転に繋がるおそれのある挙動について画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる点で、運転画像の保存に関する技術が改善される。
【0059】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
【0060】
例えば、本実施形態の一変形例において、情報処理装置20の制御部23は、少なくとも1つの指標に加えて、車両10の加速度に基づいて、車両10の挙動に異常があるか否かを判定してもよい。つまり、制御部23は、本実施形態に係る車両挙動判定に基づく撮像画像の保存と、従来の加速度に基づく撮像画像の保存とを、並行処理してもよい。この場合、ステップS101で、制御部23は、通信部21及びネットワーク30を介して車両10から、少なくとも1つの指標に加えて、車両10の取得部12を介して測定された、車両10の加速度を示す情報(例えば、加速度の測定値)も受信する。制御部23は、受信された加速度を示す情報に基づいて、車両10の挙動に異常があるか否かを判定し得る。加速度に基づく車両挙動判定には、任意の手法が採用可能である。例えば、車両10において所定の閾値を超える加速度が検知された場合(例えば、急ブレーキ時)、制御部23は、車両10の挙動に異常があると判定してもよい。
【0061】
また例えば、上述の実施形態では、ユーザ挙動判定として音声判定を実行するものとして説明したが、制御部23は、音声判定に加えて又はその代わりに、ユーザの挙動に異常があるか否かを判定する別の処理を実行してもよい。例えば、制御部23は、通信部21及びネットワーク30を介して車両10から、車両10の車内カメラ等により任意のフレームレートで撮像された、ユーザの身体の動きを示す画像を受信してもよい。制御部23は、ステップS102で説明したディープラーニング等の機械学習を行うことで、平静時の身体の動きと危機的状況下にあることを示唆する身体の動きとを分類するモデルを構築してもよい。制御部23は、構築されたモデルに基づいて、受信された画像で示されるユーザの身体の動きを画像解析し、画像解析の結果に基づいて、ユーザ挙動判定を行ってもよい。
【0062】
また例えば、上述した実施形態において、情報処理装置20の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また例えば、情報処理装置20の一部又は全部の構成要素を車両10に設けた実施形態も可能である。例えば、車両10に搭載されるドライブレコーダが、情報処理装置20の一部又は全部の構成要素を備えてもよい。
【0063】
また、例えば汎用のコンピュータを、上述した実施形態に係る情報処理装置20として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置20の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
【0064】
以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
[付記1]
情報処理装置であって、
車両の周辺が撮像された画像を保存し、
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える、情報処理装置。
[付記2]
付記1に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記制御部は、前記ユーザの挙動に異常があると判定された場合、前記車両の挙動に異常があると判定する、情報処理装置。
[付記3]
付記2に記載の情報処理装置であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声したことであり、
前記制御部は、前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定する、情報処理装置。
[付記4]
付記1から3の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記制御部は、前記異常音が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
[付記5]
付記1から4の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記制御部は、前記異常振動が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
[付記6]
付記1から5の何れか一項に記載の情報処理装置であって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
前記制御部は、所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
[付記7]
付記1から6の何れか一項に記載の情報処理装置であって、
前記制御部は、前記少なくとも1つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定する、情報処理装置。
[付記8]
情報処理装置が実行する方法であって、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を含む、方法。
[付記9]
付記8に記載の方法であって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを更に含む、方法。
[付記10]
付記9に記載の方法であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声することであり、
前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを更に含む、方法。
[付記11]
付記8から10の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
[付記12]
付記8から11の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
[付記13]
付記8から12の何れか一項に記載の方法であって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
[付記14]
付記8から13の何れか一項に記載の方法であって、
前記少なくとも1つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定することを更に含む、方法。
[付記15]
情報処理装置に、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも1つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を実行させるプログラム。
[付記16]
付記15に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
[付記17]
付記16に記載のプログラムであって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第1音声又は前記第1音声とは異なる第2音声を発声することであり、
前記ユーザによる前記第2音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
[付記18]
付記15から17の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
[付記19]
付記15から18の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
[付記20]
付記15から19の何れか一項に記載のプログラムであって、
前記少なくとも1つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
【符号の説明】
【0065】
1 システム
10 車両
11 通信部
12 取得部
13 撮像部
14 出力部
15 入力部
16 記憶部
17 制御部
20 情報処理装置
21 通信部
22 記憶部
23 制御部
30 ネットワーク