IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

<>
  • 特開-警告装置 図1
  • 特開-警告装置 図2
  • 特開-警告装置 図3
  • 特開-警告装置 図4
  • 特開-警告装置 図5
  • 特開-警告装置 図6
  • 特開-警告装置 図7
  • 特開-警告装置 図8
  • 特開-警告装置 図9
  • 特開-警告装置 図10
  • 特開-警告装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024120207
(43)【公開日】2024-09-05
(54)【発明の名称】警告装置
(51)【国際特許分類】
   G08B 25/00 20060101AFI20240829BHJP
   G08B 25/04 20060101ALI20240829BHJP
   G08G 1/16 20060101ALI20240829BHJP
   G06T 7/00 20170101ALI20240829BHJP
   G06Q 50/10 20120101ALI20240829BHJP
   G08B 21/02 20060101ALN20240829BHJP
【FI】
G08B25/00 510M
G08B25/04 C
G08G1/16 A
G06T7/00 650Z
G06T7/00 300E
G06Q50/10
G08B21/02
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023026845
(22)【出願日】2023-02-24
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】渡辺 剛
(72)【発明者】
【氏名】神賀 英明
(72)【発明者】
【氏名】川▲崎▼ 勝
(72)【発明者】
【氏名】茨木 武
(72)【発明者】
【氏名】後藤 正樹
(72)【発明者】
【氏名】松川 信行
【テーマコード(参考)】
5C086
5C087
5H181
5L049
5L050
5L096
【Fターム(参考)】
5C086AA18
5C086AA22
5C086BA22
5C086CA22
5C086CA25
5C086CA28
5C086CB36
5C086DA08
5C086FA02
5C086FA06
5C086FA17
5C086FA18
5C087AA05
5C087AA10
5C087AA23
5C087AA25
5C087AA32
5C087AA37
5C087AA44
5C087DD03
5C087DD14
5C087EE14
5C087FF01
5C087FF02
5C087GG02
5C087GG08
5C087GG09
5C087GG66
5C087GG84
5H181AA01
5H181BB04
5H181CC04
5H181LL01
5H181LL02
5H181LL04
5H181LL06
5L049CC11
5L050CC11
5L096DA02
5L096DA03
5L096FA70
5L096GA51
(57)【要約】
【課題】車両の様々なシートアレンジを考慮して乗員の危険性を適切に検出して、警告すること。
【解決手段】本発明にかかる警告装置(300)は、移動体内の撮影画像から、乗員が存在するシートの形態と、乗員の姿勢と、乗員の属性とを検出する検出部(341)と、シートの形態及び乗員の姿勢から危険度を算出する算出部(342)と、危険度が属性に応じた閾値を超える場合、危険度に応じた警告を行う警告部(343)と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
移動体内の撮影画像から、乗員が存在するシートの形態と、乗員の姿勢と、乗員の属性とを検出する検出部と、
前記シートの形態及び前記乗員の姿勢から危険度を算出する算出部と、
前記危険度が前記属性に応じた閾値を超える場合、前記危険度に応じた警告を行う警告部と、
を備える警告装置。
【請求項2】
前記算出部は、前記撮影画像のうち前記検出した乗員の姿勢に対応する部分画像と、所定の基準画像との差が大きいほど、前記危険度を高く算出する
請求項1に記載の警告装置。
【請求項3】
前記危険度が前記閾値を超える場合、前記乗員が加入する保険の過失割合を算出する外部装置に対して、前記シートの形態、前記乗員の姿勢、前記属性及び前記危険度を送信する送信部をさらに備える
請求項1又は2に記載の警告装置。
【請求項4】
前記属性に応じた閾値は、前記乗員の身体障害又は外傷の度合いに応じて健常者より高く設定された値である
請求項1又は2に記載の警告装置。
【請求項5】
前記属性は、前記移動体の自動運転レベルを含み、
前記属性に応じた閾値は、前記自動運転レベルが高いほど高く設定された値である
請求項1又は2に記載の警告装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、警告装置に関する。
【背景技術】
【0002】
特許文献1には、乗員姿勢認識装置に関する技術が開示されている。乗員姿勢認識装置は、車室内に設置されたシートクッションに乗員が着座した状態で、シートクッションの車体前方側端部から乗員の膝関節位置までの距離を測定する。また、乗員姿勢認識装置は、シートバックの傾斜角度を検出する。そして、乗員姿勢認識装置は、測定結果と検出結果から、水平面に対する乗員の骨盤の傾斜角度を推定し、推定結果が境界値を超えている場合、乗員に対して姿勢を正すように報知する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009-137355号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、近年の自動車のシートは、車内での仮眠や大きな荷物を積むためなどの用途で、シートを様々な形態へ変形すること、いわゆる「シートアレンジ」が可能なものが増えている。そこで、様々なシートアレンジを考慮して乗員の危険性を通知する技術が求められている。
【0005】
本開示の目的は、上述した課題を鑑み、様々なシートアレンジを考慮して乗員の危険性を適切に検出して警告するための警告装置を提供することにある。
【課題を解決するための手段】
【0006】
本開示にかかる警告装置は、移動体内の撮影画像から、乗員が存在するシートの形態と、乗員の姿勢と、乗員の外観属性とを検出する検出部と、前記シートの形態及び前記乗員の姿勢から危険度を算出する算出部と、前記危険度が前記外観属性に応じた閾値を超える場合、前記危険度に応じた警告を行う警告部と、を備える。
【発明の効果】
【0007】
本開示により、様々なシートアレンジを考慮して乗員の危険性を適切に検出して警告するための警告装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】本実施形態1にかかる警告装置を搭載した車両における警告システムの全体構成を示すブロック図である。
図2】本実施形態1にかかる車両内を撮影する1台のカメラシステムの配置例を示す図である。
図3】本実施形態1にかかる車両内を撮影する2台のカメラシステムの配置例を示す図である。
図4】本実施形態1にかかる車両内のシート形態の例を示す図である。
図5】本実施形態1にかかる車両内のシート形態の例を示す図である。
図6】本実施形態1にかかる車両内のシート形態の例を示す図である。
図7】本実施形態1にかかる車両内に乗員が搭乗した乗車状態の例を示す図である。
図8】本実施形態1にかかる車両内に乗員が搭乗した乗車状態の例を示す図である。
図9】本実施形態1にかかる警告装置の構成を示すブロック図である。
図10】本実施形態1にかかる警告処理の流れを示すフローチャートである。
図11】本実施形態1にかかる警告処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下では、本開示の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【0010】
<実施形態1>
図1は、本実施形態1にかかる警告装置300を搭載した車両1000における警告システムの全体構成を示すブロック図である。車両1000は、カメラシステム100-1~100-nと、認識モデル記憶装置200と、警告装置300と、表示装置410と、音声出力装置420とを備える。車両1000はシートを持つ所定の移動体でもよい。
【0011】
カメラシステム100-1~100-nのそれぞれは、車両1000の車内空間、すなわち、乗員やシートの状態等を撮影可能な位置に設置されたカメラ装置である。尚、「n」は1以上の自然数である。そのため、車両1000は、車内を撮影するカメラシステムを少なくとも1台以上搭載していればよい。カメラシステム100-1~100-nは同等の構成であってもよい。尚、以下の説明において、カメラシステム100-1~100-nを単に「カメラシステム100」と呼ぶ場合がある。
【0012】
カメラシステム100は、車両1000内を撮影し、撮影された画像を警告装置300へ出力する。カメラシステム100は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)センサ等である。カメラシステム100は、後述するシート形態や乗員の姿勢等が含まれる撮影範囲や画角が確保されていることが望ましい。
【0013】
図2は、本実施形態1にかかる車両1000内を撮影する1台のカメラシステム100-1の配置例を示す図である。カメラシステム100-1は、例えば、車両1000の天井かつシートの前方に設置されている。カメラシステム100-1は、例えば、撮影範囲R1に対して撮影を行うことができる。図3は、本実施形態1にかかる車両1000内を撮影する2台のカメラシステム100-1及び100-2の配置例を示す図である。カメラシステム100-1は、図2と同様である。カメラシステム100-2は、例えば、車両1000の天井のシートの後方に設置されている。カメラシステム100-2は、例えば、撮影範囲R2に対して撮影を行うことができる。
【0014】
図1に戻り説明を続ける。認識モデル記憶装置200は、シート形態認識モデル210、乗員姿勢認識モデル220、乗員外観属性認識モデル230及び荷物状態認識モデル240を記憶する。認識モデル記憶装置200は、例えば、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。
【0015】
シート形態認識モデル210は、車内の撮影画像に基づき、各シートの形態を認識するための処理が実装されたコンピュータプログラムである。例えば、シート形態認識モデル210は、様々な画像認識技術を用いて車内のシートの形態を認識する処理が実装されているとよい。具体的には、シート形態認識モデル210は、入力された車内の撮影画像に対する所定の画像認識処理を行い、シートの背もたれの角度、ヘッドレストの位置や有無、後部シートの格納の有無、シートの前後のスライド位置等を示すシート形態を認識する処理が実装されている。また、シート形態認識モデル210は、所定の車種の車両の仕様に従った個別のシートの形状、複数のシートの配置、様々な形状に変形されたシートの形態のパターン等が撮影された画像と、その画像におけるシート形態を示すラベル情報とを用いて機械学習されたAI(Artificial Intelligence)モデルであってもよい。また、シート形態認識モデル210は、実際に乗員が搭乗して利用されている車両における車内の撮影画像を用いて、機械学習されてもよい。これにより、検出部341がシート形態認識モデル210を用いて検出処理を行った場合に、乗員がシートにいる状態でのシート形態の検出精度が向上する。特に、機械学習に用いる画像データには、乗員が存在しない状態の様々なシート形態に加えて、シート位置に乗員が存在するパターンの画像データが含まれるとよい。特に、機械学習に用いる画像データには、安全性が高いシート形態、危険性が高いシート形態、これらの場合に乗員が搭乗した際のシート形態の画像データが含まれるとよい。これにより、検出部341がシート形態認識モデル210を用いて検出処理を行った場合に、シート形態の検出精度や危険度の算出精度が向上できる。
【0016】
図4は、本実施形態1にかかる車内のシート形態51の例を示す図である。シート形態51は、前列に2シート、中列に2シート、後列に2シートがある車両において、各シートが標準的又は基本的な形態で撮影された車内の撮影画像の例を示す。つまり、シート形態51は、各シートが倒されておらず、跳ね上げられていない例を示す。そのため、シート形態51は、各シートに乗員が着席し、シートベルトを着用すれば、原則として車両の走行が安全な状態といえる。
【0017】
図5は、本実施形態1にかかる車内のシート形態52の例を示す図である。シート形態52は、図4と同一モデルの車両において、後列のシートが左右に跳ね上げられ、荷物等を搭載できる形態で撮影された車内の撮影画像の例を示す。そのため、シート形態52は、後列に乗員が存在する場合は、車両の走行が危険な状態といえる。一方、シート形態52は、後列に乗員が存在せず、前列や中列のシートに乗員が着席し、シートベルトを着用した状態であれば、原則として車両の走行が安全な状態といえる。また、シート形態52は、後列に荷物が固定して配置されていれば、後列に関して車両の走行が安全な状態といえる。
【0018】
図6は、本実施形態1にかかる車内のシート形態53の例を示す図である。シート形態53は、図4と同一モデルの車両において、中列のシートが後ろに倒されている形態で撮影された車内の撮影画像の例を示す。そのため、シート形態53は、中列に乗員が存在する場合は、車両の走行が危険な状態といえる。一方、シート形態53は、中列に乗員が存在せず、前列や後列のシートに乗員が着席し、シートベルトを着用した状態であれば、原則として車両の走行が安全な状態といえる。また、シート形態53は、中列に荷物が固定して配置されていれば、車両の走行がある程度、安全な状態といえる。
【0019】
図7は、本実施形態1にかかる車内に乗員が搭乗した乗車状態54の例を示す図である。乗車状態54は、前列の運転席に運転者、中列の左シートと後列の右シートのそれぞれに乗員が着席し、それぞれがシートベルトを適切に着用した状態で撮影された車内の撮影画像の例を示す。また、図8は、本実施形態1にかかる車内に乗員が搭乗した乗車状態55の例を示す図である。乗車状態55は、上述した図5のシート形態52において、後列に乗員が存在する状態で撮影された車内の撮影画像の例を示す。つまり、乗車状態55では、後列のシートが左右に跳ね上げられたシート形態52で、乗員が搭乗しているため、車両の走行が危険な状態といえる。
【0020】
図1に戻り説明を続ける。乗員姿勢認識モデル220は、車内の撮影画像に基づき、車内の乗員の人数、各乗員の存在位置、各乗員の姿勢、シートに着席した乗員の姿勢、シートベルトの着用状態等を認識するための処理が実装されたコンピュータプログラムである。ここで、「乗員の姿勢」は、例えば、車両の底面に対する乗員の背中の角度や、シートに対する乗員の体の向き等であってもよい。例えば、乗員姿勢認識モデル220は、様々な画像認識技術、例えば、人物検出技術を用いても良い。また、乗員姿勢認識モデル220は、人物の様々な姿勢の画像と、その画像における姿勢を示すラベル情報とを用いて機械学習されたAIモデルであってもよい。また、乗員姿勢認識モデル220は、上述した乗車状態54及び55等の画像を用いて機械学習してもよい。
【0021】
乗員外観属性認識モデル230は、車内の撮影画像に基づき、車内の乗員の外観属性を認識するための処理が実装されたコンピュータプログラムである。ここで、「外観属性」とは、人物の外観から視認できる怪我の程度や身体障害の度合い等を示す属性情報とする。言い換えると、「外観属性」とは、乗員の身体障害や外傷の度合い、あるいは妊婦や老人、大人や子供などを示す情報である。例えば、乗員外観属性認識モデル230は、様々な画像認識技術を用いても良い。また、乗員外観属性認識モデル230は、様々な人物の画像と、その画像における外観属性を示すラベル情報とを用いて機械学習されたAIモデルであってもよい。尚、乗員の外観属性は乗員の外観そのものである必要はなく、外観属性を一部に含み外観にかかわらないその他情報と一体としてもよい。その場合、乗員外観属性認識モデル230は乗員属性認識モデル230Aとしてもよい。そして、乗員属性認識モデル230Aは、カメラシステム100の撮影画像を用いて乗員の属性を認識する処理が実装されたコンピュータプログラムであるとよい。そして、乗員属性認識モデル230Aは、乗員の外観にかかわらず、乗員外観属性認識モデル230と同様の処理が実装されていてよい。
【0022】
尚、認識モデル記憶装置200は、乗員外観属性認識モデル230の代わりに、乗員の属性情報を記憶してもよい。例えば、認識モデル記憶装置200は、図示せぬタッチパネルなどの入力手段によって入力された乗員の属性情報を記憶してもよい。または、認識モデル記憶装置200は、図示せぬ外部装置や後述する自動車保険管理サーバ2000から入力された乗員の属性情報を記憶してもよい。また、乗員の属性は、乗員が乗車する車両の自動運転レベルを含んでもよい。その場合、認識モデル記憶装置200は、外部装置等から入力された自動運転レベルを記憶するとよい。
【0023】
荷物状態認識モデル240は、車内の撮影画像に基づき、車内に存在する荷物の数、存在位置、荷物の固定度合い等の荷物状態を認識するための処理が実装されたコンピュータプログラムである。例えば、荷物状態認識モデル240は、様々な画像認識技術を用いても良い。また、荷物状態認識モデル240は、様々な形状の荷物の画像や車内に配置や固定された荷物の画像と、その画像における荷物状態を示すラベル情報とを用いて機械学習されたAIモデルであってもよい。
【0024】
尚、認識モデル記憶装置200は、シート形態認識モデル210、乗員姿勢認識モデル220、乗員外観属性認識モデル230及び荷物状態認識モデル240の代わりに、上述した機械学習に用いられる画像データ群を保存していてもよい。認識モデル記憶装置200は、シート形態認識モデル210、乗員姿勢認識モデル220、乗員外観属性認識モデル230及び荷物状態認識モデル240のいずれか1つまたは複数のモデルを記憶してもよい。
【0025】
表示装置410は、警告装置300から出力された警告メッセージとしての警告情報を表示する。警告情報は、例えば、シートの背もたれの角度やスライド位置を標準位置に戻すことや、シートベルトの着用を促すテキスト情報であるとよい。表示装置410は、例えば、液晶ディスプレイや警告灯等であるが、これに限定されない。音声出力装置420は、警告装置300から出力されたアラーム音や音声情報を警告情報として出力する。音声出力装置420は、例えば、スピーカである。表示装置410及び音声出力装置420は、出力装置の一例であり、いずれか一方であっても良い。
【0026】
警告装置300は、車内の撮影画像に基づき、各シートの形態、乗員の姿勢、乗員の属性、荷物の状態等から危険性が高いと判定した場合、所定の警告情報を出力する情報処理装置である。例えば、警告装置300は、認識モデル記憶装置200に記憶された情報を利用して警告の要否を判定し、警告が必要な場合、表示装置410及び音声出力装置420の少なくとも一方へ警告情報を出力する。また、警告装置300は、検出結果や警告情報を、後述する自動車保険管理サーバ2000へ送信してもよい。警告装置300は、車両1000に搭載された、いわゆる車載装置である。警告装置300は、検出部341、算出部342、警告部343及び送信部344を機能ブロックとして備える。尚、警告装置300及び各機能ブロックのハードウェア構成は、後述する。
【0027】
検出部341は、カメラシステム100-1から100-nのそれぞれから車内の撮影画像を取得し、取得した撮影画像から乗員が存在するシートの形態と、乗員の姿勢と、乗員の外観属性とを少なくとも検出する。さらに、検出部341は、車内の撮影画像から、荷物状態を検出する。特に、検出部341は、車両に搭載された複数のシートについて、シートごとにシートの形態、乗員の姿勢、乗員の外観属性、荷物状態を検出するとよい。尚、車両に搭載された全てのシートのうち一部のシート群を1つの「シート」とみなしても良い。例えば、車両の前列のシートが2つの独立し、後列のシートの背もたれが左右独立して稼働する一般的な乗用車である場合、前2シートと後2シートの計4シートとみなすとよい。また、図5のシート形態52の場合、後列の2つのシートが跳ね上げられているため、後列を1シートとみなしてもよい。そして、検出部341は、上述した認識モデル記憶装置200に記憶された各モデル又は画像データ群を利用してシート形態、乗員の姿勢、乗員の外観属性、荷物状態を、シートごとに検出するとよい。
【0028】
具体的には、検出部341は、認識モデル記憶装置200からシート形態認識モデル210を後述するメモリに読み出して実行し、読み出したメモリ内のシート形態認識モデルと撮影画像からシート形態を検出するとよい。また、検出部341は、認識モデル記憶装置200から乗員姿勢認識モデル220をメモリに読み出して実行し、読み出したメモリ内の乗員姿勢認識モデルと撮影画像から乗員の姿勢を検出するとよい。また、検出部341は、認識モデル記憶装置200から乗員外観属性認識モデル230をメモリに読み出して実行し、読み出したメモリ内の乗員外観属性認識モデルと撮影画像から乗員の外観属性を検出するとよい。また、検出部341は、認識モデル記憶装置200から荷物状態認識モデル240をメモリに読み出して実行し、読み出したメモリ内の荷物状態認識モデルと撮影画像から荷物状態を検出するとよい。
【0029】
または、認識モデル記憶装置200に各モデルの代わりに画像データ群が保存されている場合、検出部341は、撮影画像と画像データ群とを照合して、シート形態、乗員の姿勢、乗員の外観属性、荷物状態を検出してもよい。または、検出部341は、各モデルに相当する認識処理が実装されていてもよい。尚、認識モデル記憶装置200に記憶された各モデル又は画像データ群の一部又は全部は、警告装置300に記憶されていてもよい。
【0030】
また、車両1000は、シートの背もたれの角度や後部シートの格納、シートの前後のスライド位置等を検出するセンサをさらに備えていても良い。その場合、検出部341は、センサにより検出された情報を用いて、シート形態を検出してもよい。または、検出部341は、シート形態認識モデル210又は画像データ群を用いた検出結果と、センサにより検出された情報とを組み合わせて、シート形態を検出してもよい。また、車両1000は、商用車である場合、乗用部と荷台部との間に仕切りバーを備える場合がある。その場合、検出部341は、シート形態認識モデル210等を用いた検出結果や、仕切りバーの状態を検出するセンサの検出結果とを用いて、仕切りバーの有無を加味して、シート形態を検出してもよい。
【0031】
また、シート状態を検出する際に、乗員の位置等によっては車内の撮影画像からシートの領域が認識し難い場合もある。その場合、検出部341は、撮影画像から認識された人物の領域を除外して、人物の領域を除外した画像からシート形態認識モデル210等や画像認識処理によりシート形態を検出してもよい。また、撮影画像からシート状態や乗員の外観属性の認識が困難である場合、検出部341は、カメラシステム100から乗員の乗り降りの際の画像を取得し、取得した画像から、乗員が着席等するシート位置や外観属性を検出してもよい。つまり、検出部341は、乗員の乗り降りの際の画像と、上記撮影画像とから、シート形態認識モデル210、乗員外観属性認識モデル230等を用いて、シート形態や外観属性を検出してもよい。また、認識モデル記憶装置200に乗員の外観属性や車両の自動運転レベル等の属性情報が記憶されている場合、検出部341は、認識モデル記憶装置200から属性情報を読み出すことにより、乗員の属性を検出してもよい。
【0032】
算出部342は、少なくともシートの形態及び乗員の姿勢から、危険度を算出する。特に、算出部342は、シートごとに危険度を算出するとよい。ここで、「危険度」は、シート形態や乗員の姿勢等の状態で車両が走行する場合の乗員等の危険性の度合いを示す情報である。また、車両1000は、シートベルトの装着の有無を検出するセンサをさらに備えていても良い。その場合、算出部342は、シート形態及び乗員の姿勢に加えて、シートベルトの装着状態を用いて、危険度を算出するとよい。つまり、算出部342は、シート形態と乗員の着座姿勢とシートベルトの装着有無の情報を加味し、事故が発生した場合の予測される怪我の大きさを危険度として算出してもよい。例えば、危険度は、高いほど又は値が大きいほど、危険性が高いことを示すものとする。また、危険度は、複数のレベル値等で表現してもよい。例えばシート形態が「背もたれが倒されていない標準」の場合、走行に適した状態といえる。そこで、この場合、算出部342は、危険度を相対的に低く算出する。また、シート形態が「背もたれが二段階倒されている」場合、乗員が着席できるがシートベルトが正しく装着できないため、走行に好ましくない状態といえる。そこで、この場合、算出部342は、危険度を中程度に算出する。また、シート形態が「座面が無い又は背もたれが無い」場合、走行が危険な状態といえる。そこで、この場合、危険度を相対的に高く算出する。
【0033】
また、算出部342は、荷物状態から危険度を算出してもよい。このとき、算出部342は、荷物の振動(固定状態)や重量、荷物と運転者との距離等を加味して高低を区別して危険度を算出してもよい。つまり、算出部342は、荷物の振動幅が所定の閾値より大きければ第1の危険度として算出し、荷物の振動幅が所定の閾値以下であれば第1の危険度より小さい第2の危険度として算出する。また、算出部342は、荷物の重量が所定の閾値より大きければ第3の危険度として算出し、荷物の重量が所定の閾値以下であれば第3の危険度より小さい第4の危険度として算出してもよい。また、算出部342は、荷物と運転者との距離が所定の閾値より大きければ第5の危険度として算出し、荷物と運転者との距離が所定の閾値以下であれば第5の危険度より小さい第6の危険度として算出してもよい。算出部342は、荷物の振動(固定状態)や重量、荷物と運転者との距離等の条件に基づいて、前記所定の閾値を異ならせてもよい。
【0034】
さらに、算出部342は、撮影画像のうち、検出した乗員の姿勢に対応する部分画像が、任意の乗員の適正な姿勢を示す基準画像との差が大きいほど、危険度を高く算出するとよい。これにより、危険度をより精度良く算出できる。ここで、基準画像は、乗員の適正な姿勢を示す所定の画像であって、その姿勢で乗車すれば乗員の危険性の度合い(危険度)が低い画像である。この基準画像は、上述した乗員姿勢認識モデル220の機械学習に用いられた学習用の画像データとしてもよい。例えば、検出部341は、撮影画像のうち特定のシートに対応する領域画像を抽出し、抽出した領域画像から乗員の姿勢に対応する画像を部分画像として抽出する。尚、検出部341は、領域画像から人間の複数の関節点を検出し、検出した関節点間の位置関係から姿勢を検出し、姿勢に対応する部分画像を抽出してもよい。そして、検出部341は、乗員姿勢認識モデル220に対して、抽出した部分画像を入力し、検出結果として部分画像と基準画像との差分を検出してもよい。また、基準画像は、認識モデル記憶装置200又は記憶部310に記憶されていてもよい。これらの場合、検出部341は、抽出した部分画像と基準画像との差分を検出してもよい。検出部341は、画素ごとに部分画像と基準画像との差分を検出してもよい。検出部341は、部分画像と基準画像との差分の検出において、周知技術のテンプレートマッチングを用いることができ、部分画像と基準画像との差分を検出することができる。そして、算出部342は、検出された差分が大きいほど危険度を高く算出するとよい。算出部342は、検出された画素ごとの部分画像と基準画像との差分について、各差分の絶対値の合計が小さいほど、乗員の姿勢が適正であるとして危険度を低く算出してもよい。尚、算出部342は、部分画像と基準画像との差分の大きさを、所定の基準値を用いて判定するとよい。ここで、基準値は、車両の自動運転のレベルが高いほど大きくするとよい。なぜなら、自動運転レベルとは複数のレベルがあり、レベルに応じて運転の主体と走行する領域とが定義される。自動運転レベルが低ければ人間が主体となって運転し、自動運転レベルが高いほど運転する車両に搭載されたシステムがより主体となって運転して、人間が主体的に操作する割合が減少する。加えて、自動運転レベルが低ければ、自動運転により走行する領域が高速道路など特定の領域に限定され、自動運転レベルが高いほど自動運転により走行する領域の制限が緩くなる。よって、自動運転のレベルが高いほど人間が主体的に操作する割合が減少し、車両の走行時の安全性が高い傾向にあるためである。そして、基準値は、記憶部310に記憶されていてもよい。算出部342は、認識モデル記憶装置200が記憶するいずれか1つまたは複数のモデルを組み合わせて危険度を算出してもよい。
【0035】
算出部342は、乗員とシートの背もたれとの距離に基づいて、危険度を算出してもよい。たとえば算出部342は、乗員とシートとの距離が10cm以内の場合は、乗員とシートの距離が10cmを超える場合より危険度を低く算出してもよい。つまり算出部342は、乗員とシートの背もたれとの距離が近いほど、危険度を低く算出してもよい。
【0036】
算出部342は、背もたれが倒されていない標準のシート形態に対してどのくらい背もたれが倒されているかに基づいて、危険度を算出してもよい。たとえば算出部342は、シート形態が「背もたれが二段階倒されている」の場合は、シート形態が「背もたれが三段階倒されている」の場合より危険度を低く算出してもよい。つまり算出部342は、現在のシート形態が、背もたれが倒されていない標準のシート形態に近いほど、危険度を低く算出してもよい。
【0037】
算出部342は、シートの形態と乗員の姿勢とを組み合わせて危険度を算出してもよい。たとえば算出部342は、シート形態が「背もたれが二段階倒されている」の場合、かつ乗員とシートとの距離が10cm以内の場合には、危険度を第1の危険度と算出してもよい。算出部342は、シート形態が「背もたれが二段階倒されている」の場合、かつ乗員とシートの距離が10cmを超える場合には、危険度を第1の危険度より大きい第2の危険度と算出してもよい。たとえば算出部342は、シート形態が「背もたれが三段階倒されている」の場合、かつ乗員とシートとの距離が10cm以内の場合には、危険度を第1の危険度より大きい第3の危険度と算出してもよい。算出部342は、シート形態が「背もたれが三段階倒されている」の場合、かつ乗員とシートの距離が10cmを超える場合には、危険度を第2の危険度および第3の危険度より大きい第4の危険度と算出してもよい。つまり、算出部342は、乗員とシートの背もたれとの距離が近いほど、かつ現在のシート形態が標準のシート形態に近いほど、危険度を低く算出してもよい。
【0038】
警告部343は、危険度が外観属性に応じた閾値を超える場合、危険度に応じた警告を行う。すなわち、警告部343は、検出された乗員の外観属性に応じて、後述する閾値を選択し、選択した閾値と危険度とを比較する。そして、危険度が閾値を超える場合、警告部343は、危険度に応じた警告情報を生成し、表示装置410や音声出力装置420等へ出力する。
【0039】
送信部344は、危険度が閾値を超える場合、乗員が加入する自動車に関する保険の過失割合を算出する外部装置に対して、シートの形態、乗員の姿勢、外観属性及び危険度を送信する。尚、送信部344は、上記と併せて、車両1000の識別情報や運転者の顔画像等を外部装置に対して送信するものとする。ここで、外部装置の一例は、後述する自動車保険管理サーバ2000である。
【0040】
図9は、図1の警告装置300の構成を示すブロック図である。尚、警告装置300は、複数台のコンピュータに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。または、警告装置300は、機能の全て又は一部が半導体装置等の汎用又は専用の回路で実現されてもよい。
【0041】
警告装置300は、記憶部310、メモリ320、通信部330及び制御部340を備える。記憶部310は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。記憶部310は、プログラム311、閾値リスト312及び荷物状態閾値315を記憶する。プログラム311は、本実施形態にかかる警告方法の処理が実装されたコンピュータプログラムであり、警告プログラムの一例である。
【0042】
閾値リスト312は、外観属性に応じた複数の閾値の集合である。つまり、閾値リスト312は、外観属性と閾値を対応付けた情報の集合といえる。ここで、「閾値」は、シートの形態及び乗員の姿勢から算出された危険度から、警告の要否を判定するための閾値である。そして、「閾値」は、外観属性に応じて異なる値を予め定めたものとする。具体的には、閾値リスト312は、外観属性3131と閾値3141との組、・・・、外観属性313mと閾値314mとの組を含む。尚、「m」は2以上の自然数である。外観属性3131~313mのそれぞれは、異なる外観属性を示す。また、閾値3141~閾値314mのそれぞれは、少なくとも一部が異なる値であると良い。また、閾値3141等は、車両の自動運転のレベルに応じて定められた、上述した基準値を兼ねても良い。つまり、閾値リスト312が記憶する属性は自動運転レベルを示し、閾値は自動運転レベルが大きいほど大きな値である。また、外観属性に応じた閾値は、乗員の身体障害又は外傷の度合いに応じて健常者より高く設定された値とするとよい。身体障害又は外傷の度合いが高い人物は、健常者と同等の姿勢を取りにくいことが多い。そのため、身体障害者等の場合には、閾値リスト312が記憶する閾値を健常者の閾値よりも高い値とする。つまり、算出部342の算出する危険度が高くなったとしても、警告部343は閾値を超えない危険度に対し警告しないので、過剰な警告を抑制することができる。ここで、算出部342は、設定された閾値に基づいて危険度を算出してもよい。つまり、算出部342は閾値が高いほど危険度を低く算出して、警告部343は危険度が所定値より大きい場合に警告してもよい。この所定値は閾値とは異なり属性によって変動しない固定の値とする。同様に、検出部341は、設定された閾値に基づいて所定の差分を検出してもよい。つまり、検出部341がテンプレートマッチングにおいて所定の距離以上の差分を検出する際に、閾値が高いほど所定の距離を大きくして差分を検出し、算出部342は閾値によらず危険度を算出し、警告部343は危険度が所定値より大きい場合に警告してもよい。検出部341は、閾値に基づいて複数の検出方法を切り替えてもよい。
【0043】
荷物状態閾値315は、荷物状態の危険性を判定するための閾値である。尚、記憶部310は、警告装置300が搭載された車両1000における各シートの配置情報を記憶していてもよい。
【0044】
メモリ320は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部340の動作時に一時的に情報を保持するための記憶領域である。通信部330は、ネットワークNとの通信インタフェースである。通信部330は、無線通信回線網や携帯電話回線網を介してインターネットと接続してもよい。通信部330は、例えば、半導体装置で実現される汎用又は専用の回路で実現されてもよい。
【0045】
制御部340は、警告装置300の各構成を制御するプロセッサつまり制御装置である。制御部340は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等のプロセッサである。制御部340は、記憶部310からプログラム311をメモリ320へ読み込ませ、プログラム311を実行する。これにより、制御部340は、上述した検出部341、算出部342、警告部343及び送信部344の機能を実現する。
【0046】
図1に戻り説明を続ける。警告装置300と自動車保険管理サーバ2000とはネットワークNを介して通信可能に接続されている。ネットワークNは、無線通信回線網又は携帯電話回線網等を含み、インターネットを含んだ通信回線網であるとよい。特に、警告装置300は、無線通信によりネットワークNを介して自動車保険管理サーバ2000と通信可能である。
【0047】
自動車保険管理サーバ2000は、自動車保険に関する加入者情報や契約情報等を管理するデータベースや、保険料の算出等を行う。また、自動車保険管理サーバ2000は、警告装置300からシートの形態、乗員の姿勢、外観属性及び危険度等や車両1000の識別情報や運転者の顔画像等を受信する。そして、自動車保険管理サーバ2000は、受信した車両1000の識別情報から加入者情報等を特定し、受信したシートの形態等を、特定した加入者情報等に対応付けてデータベースへ登録する。尚、自動車保険管理サーバ2000は、受信した運転者の顔画像と、加入者情報に登録された顔画像とを照合することにより、加入者情報等を特定してもよい。その後、自動車保険管理サーバ2000は、事故発生に伴い保険料の請求がされた際に、データベースを参照し、事故当時のシートの形態、乗員の姿勢、外観属性及び危険度等を加味して、搭乗者補償や人身傷害補償の過失度合いの決定や保険料等の算出を行う。自動車保険管理サーバ2000は自動車保険以外の保険を管理してもよい。
【0048】
図10及び図11は、本実施形態1にかかる警告処理の流れを示すフローチャートである。まず、警告装置300のうち例えば検出部341は、カメラシステム100により撮影された車内の撮影画像を取得する(S101)。このとき、検出部341は、1台のカメラシステム100から2以上の撮影画像、又は、2台以上のカメラシステム100のそれぞれから複数の撮影画像を取得してもよい。また、検出部341は、特定のカメラシステム100により連続して撮影された複数の撮影画像を含む映像データを取得してもよい。次に、検出部341は、撮影画像からシート形態を検出する(S102)。尚、検出部341は、上述したように、仕切りバーの状態、他のセンサの検出結果をさらに加味してシート形態を検出してもよい。また、検出部341は、撮影画像から乗員の姿勢を検出する(S103)。また、検出部341は、撮影画像から乗員の外観属性を検出する(S104)。尚、ステップS102からS104の実行順序はこれに限定されず、他の順序であってもよい。また、ステップS102からS104のうち2以上は並列に実行されてもよい。また、検出部341は、撮影画像からシートごとにシート形態、乗員の姿勢及び外観属性を検出する。例えば、検出部341は、車両1000のシートの配置情報から撮影画像をシートごとの領域に分割し、分割した領域ごとに、シート形態、乗員の姿勢及び外観属性を検出してもよい。
【0049】
続いて、警告装置300のうち例えば検出部341は、撮影画像からシート配置に応じて、未選択のシートを選択して選択シートとする(S105)。車両1000には1つ以上のシートが配置されているものとし、ステップS105において、少なくとも一回は、未選択のシートが選択されるものとする。また、検出部341は、上述したように撮影画像がシートごとの領域に分割された場合、分割された領域画像のうち未選択のものを選択するものとする。
【0050】
そして、警告装置300のうち例えば検出部341は、選択シートに乗員が存在か否かを判定する(S106)。例えば、検出部341は、ステップS102からS105のいずれかにおいて、選択シートについて乗員の存在が検出されたか否かを判定するとよい。乗員が存在すると判定した場合、警告装置300のうち例えば算出部342は、乗員の外観属性に応じた閾値を選択する(S107)。具体的には、算出部342は、閾値リスト312の中から、ステップS104で検出された乗員の外観属性に対応付けられた属性を特定し、特定した属性を読み出すことにより、選択する。
【0051】
また、警告装置300のうち例えば算出部342は、ステップS102で検出された、選択シートにおけるシート形態と、ステップS103で検出された選択シートにおける乗員の姿勢を特定する。そして、算出部342は、特定したシート形態と乗員の姿勢から危険度を算出する(S108)。例えば、シート形態において地面と背もたれとの角度が45度以下であり、このシートに乗員が着席している場合、車両の走行が注意状態であるため、警告装置300は、危険度を通常より高く算出する。さらに、シート形態がシートの背もたれ部を車両と並行に倒したフルフラットな状態であるか、荷台として使用可能にシートが跳ね上げられた状態であるとする。これらの場合に、このシートに乗員が着席している場合、車両の走行が危険状態であるため、算出部342は、危険度を注意状態よりさらに高く算出する。尚、警告装置300は、車両1000に搭載されるGPS(Global Positioning System)システム等から取得した走行状態を加味して、危険度を算出してもよい。例えば、走行状態が一般道を低速走行中である場合、シート形態において地面と背もたれとの角度が45度以下でも、車両の走行を注意状態より安全な状態とみなしてもよい。尚、ステップS107とS108の実行順序はこれに限定されず、逆の順序であるか、並列に実行されてもよい。
【0052】
その後、警告装置300のうち例えば警告部343は、ステップS108で算出した危険度が、ステップS107で選択した閾値を超えるか否かを判定する(S109)。危険度が閾値を超える場合、警告部343は、乗員用の警告情報を出力する(S110)。具体的には、警告部343は、算出した危険度に応じて乗員用の警告情報を生成し、生成した警告情報を表示装置410や音声出力装置420へ出力する。例えば、シート形態が「背もたれが二段階倒されている」形態で、乗員がシートベルトを装着していない場合、警告部343は、シートの背もたれの角度を標準の角度へ戻し、シートベルトを装着するような警告メッセージを表示装置410へ出力する。また、警告部343は、警告音や警告メッセージに対応する音声を音声出力装置420へ出力する。また、シート形態が「座面が無い又は背もたれが無い」形態の場合、このまま車両が走行すると乗員が大きな怪我をすることが予測される。そのため、警告部343は、上記警告情報よりも警告度合いの高い警告情報を生成し、生成した警告情報を表示装置410や音声出力装置420へ出力するとよい。また、危険度がより高い場合、警告部343は、上記警告情報に加えて、車両1000に対して動作制御を行っても良い。例えば、警告部343は、車両1000のエンジンがかからないことや、加速力に制限をかける等の制御を行うと良い。ステップS110の後、ステップS116へ進む。
【0053】
ステップS106で乗員が存在しないと判定した場合、警告装置300のうち例えば検出部341は、選択シートの形態が荷物用か否かを判定する(S111)。例えば、検出部341は、選択シートについて、ステップS102で検出されたシート形態が荷物用か否かを判定するとよい。シート形態が荷物用である場合、検出部341は、撮影画像の選択シートの領域から荷物の状態を検出する(S112)。具体的には、検出部341は、選択シートに対応する領域画像について、荷物状態認識モデル240を用いて荷物状態を検出する。検出部341は、撮影画像から荷物の固定ベルトや固定装置の接続状態や固定状態を判定し、荷物状態として検出してもよい。尚、選択シートから荷物が検出されなかった場合、検出部341は、荷物情報は無いものとして検出してもよい。そして、算出部342は、荷物状態から危険度を算出する(S113)。例えば、算出部342は、事故発生時に荷物が乗員にぶつかるリスクを加味して、荷物状態に応じた危険度を算出してもよい。
【0054】
そして、警告装置300のうち例えば警告部343は、ステップS113で算出した危険度が、荷物状態閾値315を超えるか否かを判定する(S114)。危険度が荷物状態閾値315を超える場合、警告部343は、荷物用の警告情報を出力する(S115)。具体的には、警告部343は、算出した危険度に応じて荷物用の警告情報を生成し、生成した警告情報を表示装置410や音声出力装置420へ出力する。例えば、走行による荷物の移動や振動などにより荷物の輸送に好ましくない状態を示す危険度である場合、警告部343は、運転者へ荷物の固定を促す警告メッセージや警告音声を荷物用の警告情報として生成してもよい。そして、警告部343は、荷物用の警告メッセージを表示装置410へ出力し、荷物用の警告音声を音声出力装置420へ出力する。尚、車両1000が荷物の固定ベルトの装着有無の検出センサや固定装置を搭載してもよい。そして、検出センサ等により荷物が固定されていないことを検出した場合、警告部343は、荷物用の警告情報を出力するとよい。
【0055】
ステップS115の後、警告装置300の送信部344は、未選択のシートが存在するか否かを判定する(S116)。尚、ステップS110の後、ステップS109で危険度が閾値を超えない場合、ステップS111でシート形態が荷物用でない場合、又は、ステップS114で危険度が荷物状態閾値315を超えない場合も、ステップS116が実行される。
【0056】
ステップS116で未選択のシートが存在する場合、ステップS105へ戻り、検出部341は、未選択のシートを選択し、以降、ステップS106からS116を繰り返す。ステップS116で未選択のシートが存在しない場合、送信部344は、シート形態、姿勢、外観属性、荷物の状態、及び、危険度を含めて自動車保険管理サーバ2000へ送信する(S117)。つまり、送信部344は、車両1000内の出力装置と外部装置といった出力先に合わせて、出力する情報を異なるものとしてもよい。尚、送信部344は、ステップS110又はS115で出力した警告情報をさらに、自動車保険管理サーバ2000へ送信してもよい。尚、上述した各ステップの実行主体として記載した構成部は例示であり、制御部内の図示されない他の構成部を実行主体としてもよい。他の構成部としては、例えば、取得部、選択部、判定部と記載してもよい。例えば、取得部はステップS101を実行し、選択部はステップS105、S107を実行し、判定部はステップS106、S109、S111、S114、S116を実行してもよい。
【0057】
このように、本実施形態により様々なシートアレンジを考慮して乗員の危険性を適切に検出して警告することができる。
【0058】
ここで、一般的に、乗員が正しく着席できないようなシート形態で、乗員を搭乗させて車両が走行することは危険である。そしてこのような場合に、車両の事故が発生した際には乗員の被害が大きくなり得る。そこで、本実施形態にかかる警告装置の検出部は、車内が撮影された画像から乗員が存在する各シートの形態、例えばシートアレンジの状況を検出する。そして、算出部及び警告部は、乗員が安全に着席できるかどうかの判断を行う。そして、例えば、フルフラット等の人が安全に着席できないシート形態の箇所に人が存在した場合に、警告装置は、車両の運転手を含む乗員に対して警告を発する。このように、正しいシート形態での搭乗を促すことで、シートベルト未着用以上に危険な状態を乗員へ通知して安全性を高めることができる。また、シート形態によって、人ではなく荷物を検出して警告するなど、警告機能の多機能化も可能となる。
【0059】
また、危険性が高いシート形態で乗員が搭乗していた場合、道路交通法上も違反となる可能性もあり、自動車保険の補償や過失割合の決定にも影響し得る。そこで、本実施形態にかかる警告装置の送信部は、乗員又は車両の所有者が加入する自動車に関する保険の過失割合を算出する外部装置に対して、検出結果、危険度、警告情報等を送信する。このとき、警告装置は、車両や保険の加入者を特定する情報を含めて送信する。外部装置の一例である自動車保険管理サーバは、受信した情報から特定された加入者の情報へ検出結果、危険度、警告情報等を対応付けて登録する。そして、自動車保険管理サーバは、登録されたシート形態、乗員の姿勢、乗員の外観属性、シートベルトの着用有無、荷物状態等を用いて、事故発生時の自動車保険における搭乗者補償や人身傷害補償の過失を決定することができる。このように、警告装置が検出した情報を保険会社と共有することで、事故発生時の原因究明や自動車保険の過失割合判断に活かすことが可能となる。加えて、適切な過失割合の判断と、乗員が保険の加入者か否かを判定することにより、保険会社は公平に保険金を支払うことができるので、保険料の適正化につながる。これは、保険の加入者にとっては公平に保険料を負担できるとともに、支払う保険料を抑えることができる可能性がある。尚、共有先の外部装置は、自動車保険会社に限定されず、各自動車会社やセキュリティ会社等の運転サポートサービスでも良い。
【0060】
<その他の実施形態>
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
【0061】
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0062】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0063】
1000 車両、 100 カメラシステム、 200 認識モデル記憶装置、 210 シート形態認識モデル、 220 乗員姿勢認識モデル、 230 乗員外観属性認識モデル、 240 荷物状態認識モデル、 300 警告装置、 341 検出部、 342 算出部、 343 警告部、 344 送信部、 410 表示装置、 420 音声出力装置、 2000 自動車保険管理サーバ(外部装置)、 N ネットワーク、 R1、R2 撮影範囲、 51~53 シート形態、 54、55 乗車状態
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11