特許 7022674 衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-09

(45)【発行日】2022-02-18

(54)【発明の名称】衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システム

(51)【国際特許分類】

   G06Q 10/04 20120101AFI20220210BHJP

   B60R 21/00 20060101ALI20220210BHJP

   G16H 50/70 20180101ALI20220210BHJP

【ＦＩ】

G06Q10/04

B60R21/00 340

G16H50/70

【請求項の数】 5

(21)【出願番号】P 2018193564

(22)【出願日】2018-10-12

(65)【公開番号】P2020061088

(43)【公開日】2020-04-16

【審査請求日】2020-07-20

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年９月１２日にＩＲＣＯＢＩの「ｈｔｔｐ：／／ｗｗｗ．ｉｒｃｏｂｉ．ｏｒｇ／ｗｏｒｄｐｒｅｓｓ／ｄｏｗｎｌｏａｄｓ／ｉｒｃ１８／ｐｄｆ－ｆｉｌｅｓ／４６．ｐｄｆのアドレスのウェブサイト」を通じて発表 平成３０年９月１２日～平成３０年９月１４日にＩＲＣＯＢＩ主催の「２０１８ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＲＣＯＢＩ Ｃｏｎｆｅｒｅｎｃｅ Ａｔｈｅｎｓ Ｇｒｅｅｃｅ」にてポスターで発表 平成３０年９月１３日にＩＲＣＯＢＩ主催の「２０１８ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＲＣＯＢＩ Ｃｏｎｆｅｒｅｎｃｅ Ａｔｈｅｎｓ Ｇｒｅｅｃｅ」にてプレゼンテーションで発表

(73)【特許権者】

【識別番号】591056927

【氏名又は名称】一般財団法人日本自動車研究所

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】國富 将平

(72)【発明者】

【氏名】鴻巣 敦宏

【審査官】岸 健司

(56)【参考文献】

【文献】特開２００３－１８６９９４（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５５８７８（ＷＯ，Ａ１）

【文献】特開２００４－３１０３０９（ＪＰ，Ａ）

【文献】特表２００７－５３８２９７（ＪＰ，Ａ）

【文献】特開２０１８－０４７８１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ１６Ｈ １０／００－８０／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

自動車事故発生時に受傷対象者の衝突傷害レベルを予測するのに用いる衝突傷害予測モデルをコンピュータの深層学習プログラムにより作成する衝突傷害予測モデル作成方法であって、
前記コンピュータは、
過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを作成し、
前記データベースの前記衝突事故画像を、事故発生時から受傷対象者の挙動の違いが現れるタイミングで取得された時系列による衝突事故画像データに変換し、前記衝突事故画像データと傷害情報データを関連させた多数の学習データセットを作成し、
前記深層学習プログラムには、深層学習モデルとして、多くの人工知能モデルから画像認識精度に基づいて選定した人間の脳神経回路をモデルにした多層構造アルゴリズムを用いた人工知能モデルを有し、選定した前記人工知能モデルを用い、前記学習データセットに対して深層学習を実施し、
前記衝突傷害予測モデルとして、前記深層学習を実施した学習済みの人工知能モデルを作成する
ことを特徴とする衝突傷害予測モデル作成方法。

【請求項2】

請求項１に記載された衝突傷害予測モデル作成方法において、
前記人工知能モデルとして、ニューラルネットワークの１種である畳み込みニューラルネットワーク構造を有する人工知能モデルを選定する
ことを特徴とする衝突傷害予測モデル作成方法。

【請求項3】

車載カメラを搭載した自動車との通信により外部サーバまたは高度な車載機のコンピュータの衝突傷害予測プログラムにて実行される衝突傷害予測方法であって、
前記コンピュータは、
自動車事故が発生すると、事故発生時に前記車載カメラが撮像した衝突事故画像の画像データを取得し、
前記衝突事故画像の画像データを、事故発生時から受傷対象者の挙動の違いが現れるタイミングで取得された静止画像データ又は動画データとし、
前記静止画像データ又は動画データが前記衝突傷害予測プログラムに入力されると、衝突傷害予測モデルとして請求項１に記載された方法により作成された学習済みの人工知能モデルを用いることで受傷対象者の衝突傷害レベルを予測し、
予測した衝突傷害レベルから求めた衝突傷害の判定レベルを出力する
ことを特徴とする衝突傷害予測方法。

【請求項4】

車載カメラと車載コントローラと車載通信器を有する自動車と、外部サーバと外部通信器を有する情報管理センターと、を備える衝突傷害予測システムであって、
前記車載コントローラは、
自動車事故発生時に前記車載カメラが撮像した衝突事故画像を取得する画像取得部と、取得された前記衝突事故画像の画像データを外部へ送信する画像データ送信部と、を有し、
前記外部サーバは、
前記外部通信器を介して前記画像データを受信して画像処理を行う入力部と、衝突傷害予測モデルとして請求項１に記載された方法により作成された学習済みの人工知能モデルを用い、受信した前記画像データから受傷対象者の衝突傷害の発生程度を予測する傷害発生程度予測部と、予測した衝突傷害レベルから求めた衝突傷害の判定レベルを出力する出力部と、を有する
ことを特徴とする衝突傷害予測システム。

【請求項5】

車載カメラと車載コントローラと車載通信器を有する自動車と、外部サーバと外部通信器を有する情報管理センターと、救急システムコントローラと救急通信器を有する救急医療情報センターと、を備え、受傷対象者の衝突傷害レベルに応じて事故現場への救急医療用移動手段の派遣を要請する先進事故自動通報システムにおいて、
前記車載コントローラは、
自動車事故発生時に前記車載カメラが撮像した衝突事故画像の画像データを外部へ送信する画像データ送信部を有し、
前記外部サーバは、
前記自動車から受信した前記画像データと請求項１に記載された方法により作成された学習済みの人工知能モデルとを用い、受傷対象者の衝突傷害の発生程度を予測する傷害発生程度予測部と、衝突傷害の発生程度予測に基づいて求められた衝突傷害の判定レベルを前記救急医療情報センターへ送信する衝突傷害判定結果送信部と、を有し、
前記救急システムコントローラは、
前記情報管理センターから受信した前記衝突傷害の判定レベルを報知する衝突傷害判定レベル報知部を有する
ことを特徴とする先進事故自動通報システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車事故発生時における受傷対象者の衝突傷害レベルを予測する衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムに関する。

【背景技術】

【0002】

従来、画像データを用いるシステムとして衝突傷害予測システムが知られている（例えば、特許文献１参照）。従来システムは、人の頭部の位置と頭部の車両左右方向及び車両上下方向の相対速度を検出する画像センサと、人と車両との車両前後方向の相対速度及び相対距離を検出する距離センサと、画像センサ及び距離センサの検出結果に基づいて１次衝突（人と車両の衝突）の可能性が高いか否かを判定する１次衝突予測部と、１次衝突予測部が１次衝突の可能性が高いと判定した場合、画像センサ及び距離センサの検出結果に基づいて、１次衝突時点の人の頭部の位置及び車両に対する相対速度を判定する１次衝突判定部と、１次衝突判定部の判定結果に基づいて２次衝突（車両衝突後の人と路面の衝突）の状況を推定する２次衝突推定部と、２次衝突推定部の推定結果に基づいて頭部の傷害レベルを予測する傷害レベル予測部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１４１１２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来システムにあっては、人の頭部の位置及び車両に対する相対速度により１次衝突を判定し、その判定結果に基づいて２次衝突状況を推定し、２次衝突の推定結果に基づいて頭部の傷害レベルを予測している。このように、入力された画像情報を単純に人の頭部の挙動関数として取り扱い、１次衝突や２次衝突の判定や推定を行う手法により衝突傷害レベルを予測するものである。しかし、頭部位置と車両相対速度のみを対象としているため、人の頭部と車両の衝突位置の違いや人の防御態勢（腕による頭部保護等）による傷害への影響を考慮することができない。このため、特に、衝突時の挙動が複雑である歩行者や自転車乗員に関しては、衝突傷害レベルを過大予測したり過小予測したりする場合が多くなり、衝突傷害レベルの予測精度が低いし、傷害部位も頭部のみと限定的である、という課題があった。

【0005】

本発明は、上記課題に着目してなされたもので、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明は、自動車事故発生時に受傷対象者の衝突傷害レベルを予測するのに用いる衝突傷害予測モデルをコンピュータの深層学習プログラムにより作成する衝突傷害予測モデル作成方法であって、下記のコンピュータによる手順を有する。
過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを作成する。
データベースの衝突事故画像を、事故発生時から受傷対象者の挙動の違いが現れるタイミングで取得された時系列による衝突事故画像データに変換し、衝突事故画像データと傷害情報データを関連させた多数の学習データセットを作成する。
深層学習プログラムには、深層学習モデルとして、多くの人工知能モデルから画像認識精度に基づいて選定した人間の脳神経回路をモデルにした多層構造アルゴリズムを用いた人工知能モデルを有し、選定した人工知能モデルを用い、学習データセットに対して深層学習を実施する。
衝突傷害予測モデルとして、深層学習を実施した学習済みの人工知能モデルを作成する。

【発明の効果】

【0007】

このように、衝突事故画像と傷害情報の学習データセットに対する深層学習の実施により、衝突傷害レベルの予測に用いる人工知能モデルが作成される。この結果、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上することができる。

【図面の簡単な説明】

【0008】

【図1】実施例１の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システムが適用された先進事故自動通報システムを示す全体システム図である。

【図2】実施例１の先進事故自動通報システムの詳細構成を示すシステムブロック図である。

【図3】従来例の先進事故自動通報システムを示す概要図である。

【図4】実施例１の人工知能モデルの作成動作の手順を示す動作フロー図である。

【図5】実施例１の深層学習プログラムに有する深層学習モデル（VGG16モデル）を示すブロック図である。

【図6】深層学習モデルであるアレックスネットモデル（AlexNet）とVGG16モデル（VGG16）と人（Human）との認識レベルによるクラス分類のエラー率比較を示すエラー率比較図である。

【図7】実施例１の衝突傷害予測システムを用いた傷害発生程度の予測手順を示すフローチャートである。

【図8】衝突事故シミュレーション解析による歩行者の頭部傷害発生程度の予測精度検証においてGrad-CAM適用時のHIC1000以下と判定された際の特徴例を示す図である。

【図9】衝突事故シミュレーション解析による歩行者の頭部傷害発生程度の予測精度検証においてGrad-CAM適用時のHIC1000超過と判定された際の特徴例を示す図である。

【図10】衝突事故シミュレーション解析による歩行者の頭部傷害発生程度の予測精度検証において車両衝突時の歩行者モデル挙動を車両側面からの時系列画像を示す図である。

【図11】衝突事故シミュレーション解析による歩行者の頭部傷害発生程度の予測精度検証において歩行者モデルの衝突時からの経過時間に対する歩行者の頭部傷害予測精度の関係を示す特性図である。

【図12】従来手法と本提案手法での歩行者傷害予測精度比較結果を示す比較結果図である。

【発明を実施するための形態】

【0009】

以下、本発明による衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムを実施するための形態を、図面に示す実施例１に基づいて説明する。

【実施例1】

【0010】

実施例１は、本発明の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システムの全てを適用した先進事故自動通報システムである。以下、実施例１の構成を、「先進事故自動通報システムの全体構成」、「先進事故自動通報システムの詳細構成」に分けて説明する。

【0011】

［全体システム構成］
図１は、実施例１の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システムが適用された先進事故自動通報システムを示す。以下、図１に基づいて先進事故自動通報システムの全体構成を説明する。ここで、先進事故自動通報システムは、「AACN（Advanced Automatic Collision Notificationの略称）」と呼ばれ、以下、先進事故自動通報システムAACNという。

【0012】

先進事故自動通報システムAACNは、自動車事故発生時に受傷対象者の衝突傷害レベルに応じて事故現場への救急医療用移動手段の派遣を要請するシステムである。ここで、「受傷対象者」とは、自動車乗員、自転車乗員、歩行者、等の衝突事故の発生により何らかの傷害を受け得る者をいう。「救急医療用移動手段」とは、応急処置を施しながら受傷者を搬送する救急車、医者が同乗する救急医療用のドクターカーやドクターヘリ等の救命救急のために派遣される移動手段をいう。

【0013】

先進事故自動通報システムAACNは、図１に示すように、車載カメラ１と車載コントローラ２と車載通信器３を有する自動車Ａと、外部サーバ４と外部通信器５を有する情報管理センターＢと、救急システムコントローラ６と救急通信器７を有する救急医療情報センターＣと、を備えている。

【0014】

ここで、「自動車Ａ」とは、先進事故自動通報システムAACNに組み込まれ、自動車事故発生時に自車が取得した事故情報を自動的に送信する機能を備える車両をいう。「情報管理センターＢ」とは、例えば、プローブ車両群から送信される膨大な車両データを受信し、受信した車両データを情報利用種別に区分して記録するプローブ情報システムにおいて交通情報を管理するインフラ施設、等をいう。「救急医療情報センターＣ」とは、例えば、所定の地域内で医療ネットワークを構築するとき、ネットワーク内で取り扱う医療情報を管理するインフラ施設、等をいう。

【0015】

車載コントローラ２は、自動車事故発生時に車載カメラ１が撮像した衝突事故画像の画像データを、車載通信器３を介して外部へ送信する。ここで、「車載カメラ１」とは、ドライブレコーダー用カメラ、運転支援制御に用いられる前方カメラ、等のように、自動車Ａに搭載され、自動車事故発生時に車両前方や車室内画像の衝突事故画像データ（動画データと静止画データを含む）を取得できる撮像手段をいう。

【0016】

外部サーバ４は、自動車Ａから受信した画像データと深層学習（Deep Learning）の実施により作成された人工知能モデルとを用い、受傷対象者の衝突傷害の発生程度を予測し、衝突傷害の発生程度予測に基づいて衝突傷害の判定レベルを求める。そして、求められた衝突傷害の判定レベルを、外部通信器５を介して救急医療情報センターＣへ送信する。ここで、「深層学習の実施により作成される人工知能モデル」の詳細については後述する。なお、外部サーバ４には、衝突傷害程度を複数段階に分ける判定を行った後の判定レベル結果を視覚的に表示する表示デバイス８が接続される。

【0017】

救急システムコントローラ６は、情報管理センターＢから衝突傷害の判定レベルの情報を受信すると、直ちに、事故情報報知デバイス９によって“衝突傷害判定レベル”や“自動車事故発生場所”等を表示/音声により報知する。これらの情報を受けた救急医療情報センターＣの担当オペレータは、“衝突傷害判定レベル”や“自動車事故発生場所”等に応じて適切な救急・救命措置を取る。例えば、衝突傷害判定レベルが低いと、レベルに応じた救急処理が可能な救急車の派遣を要請する手続きを行う。また、衝突傷害判定レベルが高く、自動車事故発生場所へ車で短時間にアクセスすることが可能であると、ドクターカーの派遣を要請する手続きを行う。さらに、衝突傷害判定レベルが高く、自動車事故発生場所へ車でアクセスができない、又は、車でのアクセスでは長時間を要すると、ドクターヘリの派遣を要請する手続きを行う。

【0018】

［先進事故自動通報システムの詳細構成］
図２は、実施例１の先進事故自動通報システムAACNの詳細構成を示す。以下、図２に基づいて先進事故自動通報システムAACNの詳細構成を説明する。

【0019】

先進事故自動通報システムAACNは、図２に示すように、車載カメラ１と、車載コントローラ２と、車載通信器３と、外部サーバ４と、外部通信器５と、救急システムコントローラ６と、救急通信器７と、表示デバイス８と、事故情報報知デバイス９と、を備えている。ここで、衝突傷害予測システムは、先進事故自動通報システムAACNから救急医療情報センターＣを除いたシステムである。つまり、車載カメラ１と車載コントローラ２と車載通信器３を有する自動車Ａと、外部サーバ４と外部通信器５を有する情報管理センターＢと、を備えて衝突傷害予測システムが構成される（図１参照）。

【0020】

車載コントローラ２は、図２に示すように、画像取得部２ａと、画像データ送信部２ｂと、を有する。

【0021】

画像取得部２ａは、自動車事故発生時に車載カメラ１が撮像した衝突事故画像を取得する。ここで、自動車事故の発生判定は、エアバックの展開をトリガーとして自動車事故の発生を判定する。なお、自動車事故の発生判定としては、例えば、車載カメラ１が撮像した画像の解析、事故停車時における閾値以上の急減速Ｇ発生、事故発生時に特有の急減速Ｇ特性の発生、フロントバンパーへの衝撃検知、等の一つ、又は、組み合わせにより判定しても良い。

【0022】

画像データ送信部２ｂは、取得された衝突事故の画像データを、車載通信器３を介して外部の情報管理センターＢへ送信する。ここで、情報管理センターＢへ送信する画像データは、事故発生時から取得された静止画像データ又は動画データとする。

【0023】

外部サーバ４は、図２に示すように、入力部４ａと、傷害発生程度予測部４ｂと、表示出力部４ｃ（出力部）と、衝突傷害判定結果送信部４ｄと、を有し、衝突傷害予測プログラムが構成される。

【0024】

入力部４ａは、外部通信器５を介して車載通信器３から送信された画像データを受信する。この入力部４ａでは、受信した画像データに対して画像処理を行う。ここで、画像処理とは、例えば、画像のリサイズやグレースケール変更や輝度変更、等である。

【0025】

傷害発生程度予測部４ｂは、衝突傷害予測モデルとして深層学習の実施により作成された人工知能モデルを用い、画像処理を行った後の画像データから受傷対象者の衝突傷害の発生程度を予測する。

【0026】

表示出力部４ｃは、予測した衝突傷害の発生程度から求めた衝突傷害の判定レベルを表示デバイス８により表示する表示指令を出力する。

【0027】

衝突傷害判定結果送信部４ｄは、衝突傷害の発生程度予測に基づいて求められた衝突傷害の判定レベルを、外部通信器５を介して救急医療情報センターＣへ送信する。

【0028】

ここで、外部サーバ４には、自動車事故発生時に受傷対象者の衝突傷害レベルを予測するのに用いる人工知能モデル（衝突傷害予測モデル）を作成する衝突傷害予測モデル作成方法を実行する深層学習プログラム４０を内蔵する。

【0029】

深層学習プログラム４０は、図２に示すように、データベース作成部４ｅと、学習データセット作成部４ｆと、深層学習実施部４ｇと、人工知能モデル作成部４ｈと、を有する。

【0030】

データベース作成部４ｅは、過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを作成する。なお、４e1は衝突事故画像データベースであり、４e2は傷害情報データベースである。

【0031】

学習データセット作成部４ｆは、データベース作成部４ｅからのデータベースを機械学習の実施に適した形式に変換し、自動車事故時の衝突事故画像データと傷害情報データを関連させた多数の学習データセットを作成する。

【0032】

深層学習実施部４ｇは、人間の脳神経回路をモデルにした多層構造アルゴリズムを用いた人工知能モデルを選定し、学習データセット作成部４ｆからの学習データセットに対して深層学習を実施する。ここで、人工知能モデルとしては、ニューラルネットワークの１種である畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）構造を有する人工知能モデルを選定している。

【0033】

なお、「深層学習（Deep Learning）」とは、人工知能AI（Artificial Intelligenceの略称）を代表する機械学習手法の一つであり、人間の脳神経回路をモデルにした多層構造ニューラルネットワーク（ディープニューラルネットワーク）を用い、特徴量の設定や組み合わせを人工知能AIが自ら考えて決定する。つまり、従来の機械学習を発展させた手法であり、大量のデータから規則性や関連性を見つけ出し、判断や予測を行う機械学習は、着目すべき特徴（特徴量）を指定する必要があるのに対し、深層学習の場合は特徴（特徴量）を指定しなくても自動で学習する点で相違する。

【0034】

人工知能モデル作成部４ｈは、衝突傷害を予測する衝突傷害予測モデルとして、深層学習を実施した学習済みの人工知能モデルを作成する。

【0035】

なお、深層学習プログラム４０は、情報管理センターＢにおいて、外部サーバ４とは別の専用サーバに設定しても良いし、情報管理センターＢとは別の施設の独立サーバに設定しても良い。専用サーバや独立サーバにより人工知能モデルを作成した場合には、作成した人工知能モデルを外部サーバ４へ入力したり送信したりする。

【0036】

また、人工知能モデルの初期作成段階においては、初期作成前の過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを用いて人工知能モデル（初期モデル）を作成する。その後の人工知能モデルは、衝突事故画像と傷害情報のデータベースが所定量蓄積された段階、或いは、衝突事故画像と傷害情報のデータベースが所定期間で蓄積された段階にて深層学習を実施して随時更新する。

【0037】

救急システムコントローラ６は、図２に示すように、情報管理センターＢから救急通信器７を介して受信した衝突傷害の判定レベルを、事故情報報知デバイス９により視覚や聴覚に訴えて報知する衝突傷害判定レベル報知部６ａを有する。

【0038】

次に、「衝突傷害予測の背景技術と課題」、「課題を解決する対策」を説明する。そして、実施例１の作用を、「人工知能モデル作成作用」、「衝突傷害予測作用」、「歩行者の頭部傷害発生程度の予測精度検証作用」、「先進事故自動通報システムによる自動通報作用」に分けて説明する。

【0039】

［衝突傷害予測の背景技術と課題］
自動車事故発生時の救急車による自動車乗員及び歩行者（救命・救急患者）の的確かつ迅速な医療機関への搬送、並びに、事故現場への救急医療用のドクターヘリやドクターカーの早期派遣を目的とする先進事故自動通報システムAACNが知られている。

【0040】

先進事故自動通報システムAACNは、図３に示すように、自動車事故発生時に自動送信されるEDRデータ（EDRは「Event Data Recorder」の略称)を用い、自動車乗員及び歩行者の傷害発生程度（死亡／重傷／軽傷／無傷等）を予測する手法（以下、「従来手法」という。）である。

【0041】

しかし、従来手法では、自動車乗員のシートベルト装着有無、衝突速度、衝突方向等のEDRデータに記録される限られたデータのみを用い、入力されたEDRデータを単純に説明関数として用いるロジスティック回帰分析により衝突傷害予測を実施している。

【0042】

そのため、衝突傷害の予測精度（正解率）が高いとは言えない。また、事故発生時の自動車乗員は着座姿勢であるのに対して、歩行者は様々な歩行姿勢や回避行動をとる場合があり、更に自動車との衝突位置等も一様ではないため、乗員に比べて歩行者の事故形態は多様である。よって、例えば、歩行者に対する傷害発生程度の予測においては、自動車乗員に比べてその予測が難しく、その予測精度が46.8％となる事例もみられた（図１２参照）。

【0043】

この結果、従来手法を用いた場合、(1)傷害発生程度を過大判定すると、救急医療用のドクターヘリやドクターカーの不必要な出動回数を増大させる、或いは、(2)本来救命すべき救命救急患者に対して緊急治療の必要がないと過小判定すると、本来の目的である的確な救命行為が達成できない。

【0044】

即ち、従来手法を用いた場合、傷害発生程度の誤判定により、全体的に数が少ない救急医療用のドクターヘリやドクターカーを不必要に事故現場に出動させ、適切な救命・救急体制を麻痺させるおそれがあり、その改善が求められている、というのが課題である。

【0045】

［課題を解決する対策］
本発明者等は、上記課題を解決する対策として、衝突傷害予測に、衝突事故発生時の画像データと、従来の機械学習をさらに発展させた深層学習を実施した学習済みの人工知能モデルとを用いる点に着目した。この着目点にしたがって、衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムAACNを提案した。

【0046】

衝突傷害予測モデル作成方法は、過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを作成し、データベースを機械学習の実施に適した形式に変換し、衝突事故画像データと傷害情報データを関連させた多数の学習データセットを作成する。そして、選定した人工知能モデルを用い、学習データセットに対して深層学習を実施し、衝突傷害予測モデルとして、深層学習を実施した学習済みの人工知能モデルを作成する。

【0047】

衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムは、何れも自動車事故発生時の“画像データ”と、衝突傷害予測モデル作成方法により作成された“人工知能モデル”を、自動車事故発生時に受傷対象者の衝突傷害レベルを予測するのに用いる方法やシステムである。

【0048】

即ち、“人工知能モデル”は、入力された多数の学習データセットに対して、人工知能AIが最適化処理し、衝突傷害に関する学習データセットの特徴を抽出して予測する深層学習を実施することで作成される。そして、衝突傷害予測では、自動車事故発生時の“画像データ”と、画像認識に優れた深層学習を実施した学習済みの“人工知能モデル”と、を用いる。これにより、自動車衝突事故時において、従来手法よりも受傷対象者の衝突傷害レベルの予測精度を向上することができる。

【0049】

このことは、受傷対象者の衝突傷害レベルの誤判定による救急医療用のドクターヘリやドクターカーの不要な出動回数の大幅な削減や、本来、救命行為が必要な患者の取りこぼしの低減に大きく貢献し、最終的には、自動車事故による死者の削減や後遺症患者の削減にも繋がるものと考える。

【0050】

［人工知能モデル作成作用］
図４は、実施例１の深層学習プログラム４０にて実行される人工知能モデルの作成処理の流れを示すフローチャートである。以下、図４～図６に基づいて人工知能モデル作成作用を説明する。

【0051】

まず、過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベース（衝突事故画像データベース、傷害情報データベース）が作成される（Ｓ１）。次に、データベースを機械学習の実施に適した形式に変換し、衝突事故画像データと傷害情報データを関連させた多数の学習データセットが作成される（Ｓ２）。その後、学習データセット内の画像データに対して画像前処理（例えば、画像のりサイズやグレースケールの変更や輝度変更、等）が実施される（Ｓ３）。

【0052】

次からのＳ４～Ｓ６の処理は、深層学習プログラムにおいて実施される。まず、画像前処理を施した学習データセットが深層学習プログラムに入力される（Ｓ４）。次に、選定した人工知能モデルを用い、学習データセットに対して深層学習が実施される（Ｓ５）。そして、衝突傷害予測モデルとして、深層学習を実施した学習済みの人工知能モデルが作成され、作成した人工知能モデルが保存される（Ｓ６）。

【0053】

つまり、深層学習では、多数の自動車乗員や歩行者等の画像と傷害情報を用いて、繰り返し機械学習することにより、特定の傷害と関連のある自動車乗員や歩行者等の挙動の特徴を学習することができる。そして、深層学習後、自動車事故発生時の自動車乗員や歩行者等の画像と傷害の関係の学習済みの“人工知能モデル”が作成される。

【0054】

ここで、深層学習プログラムには、例えば、図５のブロック図に示す深層学習モデル（VGG16モデル）を有する。この深層学習モデルは、CNN構造を有した人工知能モデルの一つであるアレックスネットモデルと比較して、学習用の畳み込みニューラルネットワークの層が深く、画像認識精度が高くなっている。なお、図６は、画像認識コンテストILSVRC（ImageNet Large Scale Visual Recognition Challenge）で示されたクラス分類のエラー率の比較を示す。この図６のクラス分類のエラー率の比較から明らかなように、図５に示す深層学習モデル（VGG16）は、アレックスネットモデル（AlexNet）に比べて、エラー率が半減しており、人（Human）の認識レベルに大きく近づいていることがわかる。

【0055】

［衝突傷害予測作用］
図７は、実施例１の衝突傷害予測システムを用いた傷害発生程度の予測手順を示すフローチャートである。以下、図７に基づいて衝突傷害予測作用を説明する。

【0056】

まず、自動車事故が発生すると（Ｓ１１）、自動車事故発生時に自動車乗員や歩行者等の画像が取得される（Ｓ１２）。ここで、画像の取得方法には、例えば、ドライブレコーダーに記録された映像があげられる。

【0057】

次に、自動車事故時の自動車乗員や歩行者等の画像に対して画像処理が行われる（Ｓ１３）。ここで、画像処理としては、例えば、画像のリサイズやグレースケール、輝度変更等があげられる。次に、画像処理された自動車事故時の自動車乗員や歩行者等の画像が、外部サーバ４の衝突傷害予測プログラムに入力される（Ｓ１４）。以下のＳ１５～Ｓ１７の処理は、衝突傷害予測プログラムにて実行される。

【0058】

画像が衝突傷害予測プログラムに入力されると、深層学習プログラム４０にて作成された人工知能モデルを用いて衝突傷害予測が行われる（Ｓ１５）。ここで、人工知能モデルは、事前に深層学習手法を用いて作成されたモデルであり、自動車乗員や歩行者等の衝突事故発生時の画像（衝突時の挙動等）から受傷対象者の傷害発生程度に関わる特徴を抽出して予測することができる。

【0059】

次に、人工知能モデルによる予測結果から受傷対象者の傷害発生程度予測（重症度判定）が実施される（Ｓ１６）。最後に、受傷対象者の傷害発生程度の予測結果が表示される（Ｓ１７）。なお、予測結果の表示では、予測部で判定した傷害発生程度から求めた重症度判定を表示するとともに、予測根拠が示される。

【0060】

このように、衝突傷害予測作用では、EDRデータを用いた傷害予測の従来手法に代え、自動車乗員や歩行者等の衝突事故発生時の画像（衝突時の挙動等）から、受傷対象者の傷害発生程度に関わる特徴を抽出して予測する。このため、従来手法よりも高い精度で受傷対象者の傷害発生程度の予測（重症度判定）を実施することができる。

【0061】

［歩行者の頭部傷害発生程度の予測精度検証作用］
図８は、Grad-CAM適用時のHIC1000以下と判定された際の特徴例を示す。図９は、Grad-CAM適用時のHIC1000超過と判定された際の特徴例を示す。図１０は、車両衝突時の歩行者モデル挙動を車両側面からの時系列画像で示す。図１１は、歩行者モデルの衝突時からの経過時間に対する歩行者の頭部傷害予測精度の関係特性を示す。図１２は、従来手法と本提案手法での歩行者傷害予測精度比較結果図である。以下、図８～図１２に基づいて歩行者の頭部傷害発生程度の予測精度検証作用を説明する。

【0062】

実際に、実施例１の衝突傷害予測プログラムを用いて、衝突事故シミュレーション解析による市販車を模擬した簡易車両との１次衝突時における成人男性の頭部傷害発生程度を学習させ、限定的な条件内ではあるが歩行者の頭部傷害発生程度の予測精度を検証した。

【0063】

歩行者の頭部傷害発生程度の予測精度検証は、深層学習時に使用した学習データセットとは別のデータセット（検証データセット）を用いて実施した。ます、検証データセットの画像データを学習済み人工知能モデルに入力し、頭部傷害発生程度を予測させる。その予測結果と検証データの傷害情報を比較することで、予測精度の正解率を検証した。また、歩行者の頭部傷害発生程度の予測妥当性検討では、深層学習によって作成された学習済み人工知能モデルに、Grad-CAM（Gradient-weighted Class Activation Mapping）を適用し、学習済み人工知能モデルが画像認識時に着目している特徴箇所の特定を実施した。ここで、「Grad-CAM」とは、クラス分類に影響の大きい画像箇所を特定し、描画する機能を有しており、深層学習済みの人工知能モデルが画像認識時に着目している特徴箇所をヒートマップとして表現する手法である。なお、歩行者モデルの頭部に加わる受傷レベルは、対自動車衝突時の頭部傷害基準HIC（Head Injury Criterion）の値を用いて判断した。

【0064】

図８にGrad-CAM適用時のHIC1000以下と判定された際の特徴例を示す。HIC1000以下の歩行者モデル衝突画像の判定において、学習済み人工知能モデルは、歩行者モデルの胴体に着目しており、衝突後90msec時に胴体が画像上で確認できる場合は、HICが1000以下になると予測していると考えられる。

【0065】

図９にGrad-CAM適用時のHIC1000超過と判定された際の特徴例を示す。HIC1000超過の判定において、学習済み人工知能モデルは、歩行者モデルと車両部分との境界、及び、歩行者モデルの足部に着目していることがわかる。そのため、学習済み人工知能モデルは、衝突後90msec時点での歩行者モデルの車両による跳ね上げの特徴を画像から認識していると考えられる。

【0066】

これらの特徴は、Grad-CAMを適用した他の検証データの殆どのケースにおいて確認されており、これらの特徴から学習済み人工知能モデルが、歩行者モデルの受傷レベルを予測していることがわかった。

【0067】

図１０に車両衝突時の歩行者モデル挙動を車両側面からの時系列画像で示す。歩行者モデルと車両モデルの衝突現象は、脚部とバンパーとの衝突において始まり、概ね、バンパー形状に沿って、脚部の曲げが生じる。そして、衝突後50msecでは、脚部がバンパーと離れ、主に腰部とフードが接触する。また同時に、本ケースでは、対車側の肘とフードとの接触が始まる。その後、歩行者モデルは肘とフードの緩衝により上半身の動きが抑制させられながら、98msecにおいて頭部と車両が衝突する。

【0068】

図１０は、HIC1000以上の特徴と似ているが、解析結果はHIC1000以下であった。その要因として、歩行者モデルの対車側の肘が車両との衝突時により、上体部の動きを抑制したことで、頭部への衝撃が緩和されたものと考えられる。この様に人による傷害判断が困難な場合においても、人工知能モデルは正確な予測を可能としており、人工知能モデルによる受傷レベル予測手法の有効性を確認できた。また、Grad-CAMの結果から学習済み人工知能モデルが衝突時の歩行者モデルの肘に着目し、HIC値を適切に予測したものと考えられ、人の所見との整合性もみられた。

【0069】

そして、人工知能モデルの１種であるAlexNetを使用した場合、歩行者モデルの衝突時挙動から有効に受傷レベルを予測できるタイミングは、図１１に示すように、衝突時からの経過時間50msecから60msecになると一気に90%程度まで上昇する。そして、60msec～130msec（最大値は、90msecでの90.4%）までは90%台の高い予測精度を確保できることがわかった。

【0070】

さらに，AlexNetよりも画像認識精度が高いVGG16を人工知能モデルとして使用した結果、歩行者の頭部傷害発生程度の予測精度の正解率が、図１２に示すように、EDRデータを用いた従来手法での46.8％から本提案手法での99.37％まで上昇した。即ち、図１１に示す衝突時からの経過時間による画像データと、深層学習済み人工知能モデルとを用いると、極めて高い予測精度を有するプログラムが構築できたことが確認された。

【0071】

なお、衝突傷害予測プログラムは上記検証対象に加えて、多種多様の車種や事故形態、対象者の身長/体重、及び、傷害部位等の情報を学習データセットに追加し、深層学習することによって、様々な事故条件下での任意の人体部位における傷害発生程度の予測を可能とすることを示唆している。

【0072】

そのため、今後、さらにリアルワールドにおける自動車乗員や歩行者等の衝突画像と傷害情報を用いて深層学習を繰り返すことによって、衝突傷害予測プログラムはさらに進化し、リアルワールドでの傷害予測精度のさらなる向上が期待される。

【0073】

［先進事故自動通報システムによる自動通報作用］
先進事故自動通報システムAACNによる自動通報は、図７のフローチャートにおいて、Ｓ１６において、受傷対象者の傷害発生程度予測（重症度判定）が実施されると、傷害予測情報を救急システムコントローラ６へ送信される。情報管理センターＢから傷害予測情報を受信した救急システムコントローラ６は、直ちに、事故情報報知デバイス９によって“衝突傷害判定レベル”や“自動車事故発生場所”等が表示/音声により報知される。そして、これらの情報を受けた救急医療情報センターＣの担当オペレータが、きめ細かくレベル分けされた“衝突傷害判定レベル”や“自動車事故発生場所”等に応じて適切な救急・救命措置を取ることで行われる。

【0074】

このように、本発明の衝突傷害予測方法や衝突傷害予測システムを先進事故自動通報システムに適用することで、救急医療用のドクターヘリやドクターカーの不要な出動を大幅に低減すること、及び、救命救急が必要な患者の取りこぼしを削減することができ、適切な救命・救急が可能となる。また、その結果として、自動車事故による死傷者の低減や後遺傷害者の被害軽減等にも繋がる。

【0075】

なお、先進事故自動通報システムAACNの普及については、日本では、傷害発生程度の予測アルゴリズムを搭載した救急自動通報システム(D-call Net)が搭載され、2018年から本格運用開始されている。ロシアと欧州では、販売される全ての新車を対象に自動車事故発生場所のみを通報する事故自動通報システムの搭載が義務付けられている。そして、マレーシアや韓国等の他の国においても事故自動通報システムの搭載が検討されている。

【0076】

また、ドライブレコーダーに関しては、政府は自動運転に係る制度整備大網内の自動運転車の走行中のデータ保存に係る検討内において「2020年を目途に、データ記録装置（イベントデータレコーダー（EDR）、ドライブレコーダー等）の設置義務化について検討する」としており、現在のドライブレコーダー普及率約15％から、今後、さらなる拡大が見込まれる。

【0077】

よって、今後、先進事故自動通報システムAACNの機能を持つ自動車は年々増加する見込みである。これに対し、本発明の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システムは、傷害発生程度予測のコア技術であるため、先進事故自動通報システムAACNの傷害予測アルゴリズムとしての採用が期待される。

【0078】

以上説明したように、実施例１の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムAACNにあっては、下記に列挙する効果を奏する。

【0079】

(1) 自動車事故発生時に受傷対象者の衝突傷害レベルを予測するのに用いる衝突傷害予測モデルを作成する衝突傷害予測モデル作成方法であって、
過去に発生した自動車事故時に観測された受傷対象者の衝突事故画像と傷害情報によるデータベースを作成し、
データベースを機械学習の実施に適した形式に変換し、衝突事故画像データと傷害情報データを関連させた多数の学習データセットを作成し、
人間の脳神経回路をモデルにした多層アルゴリズムを用いる人工知能モデルを選定し、学習データセットに対して深層学習を実施し、
衝突傷害予測モデルとして、深層学習を実施した学習済みの人工知能モデルを作成する。
このため、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上させる人工知能モデルを作成することができる。

【0080】

(2) 人工知能モデルとして、ニューラルネットワークの１種である畳み込みニューラルネットワーク構造を有する人工知能モデルを選定する。
このため、ニューラルネットワーク層が深く、画像認識精度が高くなることで、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上させる人工知能モデルを作成することができる。

【0081】

(3) 車載カメラ１を搭載した自動車Ａとの通信により外部サーバ４（または高度な車載機）にて実行される衝突傷害予測方法であって、
自動車事故が発生すると、事故発生時に車載カメラ１が撮像した衝突事故画像の画像データを取得し、
画像データを入力すると、衝突傷害予測モデルとして深層学習の実施により作成された人工知能モデルを用いることで受傷対象者の衝突傷害レベルを予測し、
予測した衝突傷害レベルから求めた衝突傷害の判定レベルを出力する。
このため、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上する衝突傷害予測方法を提供することができる。

【0082】

(4) 車載カメラ１が撮像した衝突事故画像の画像データのうち、受傷対象者の衝突傷害レベル予測に用いる画像データは、事故発生時から受傷対象者の挙動の違いが現れるタイミング（例えば、60msec以上経過したタイミング）で取得された静止画像データ又は動画データとする。
このため、事故発生時に車載カメラ１から取得した衝突事故画像の画像データに基づく予測により、受傷対象者の衝突傷害レベルの高い予測精度を達成することができる。

【0083】

(5) 車載カメラ１と車載コントローラ２と車載通信器３を有する自動車Ａと、外部サーバ４と外部通信器５を有する情報管理センターＢと、を備える衝突傷害予測システムであって、
車載コントローラ２は、自動車事故発生時に車載カメラ１が撮像した衝突事故画像を取得する画像取得部２ａと、取得された衝突事故の画像データを外部へ送信する画像データ送信部２ｂと、を有し、
外部サーバ４は、外部通信器５を介して画像データを受信して画像処理を行う入力部４ａと、衝突傷害予測モデルとして深層学習の実施により作成された人工知能モデルを用い、受信した画像データから受傷対象者の衝突傷害の発生程度を予測する傷害発生程度予測部４ｂと、予測した衝突傷害レベルから求めた衝突傷害の判定レベルを出力する出力部（表示出力部４ｃ）と、を有する。
このため、自動車衝突事故時において、受傷対象者の衝突傷害レベルの予測精度を向上する衝突傷害予測システムを提供することができる。

【0084】

(6) 車載カメラ１と車載コントローラ２と車載通信器３を有する自動車Ａと、外部サーバ４と外部通信器５を有する情報管理センターＢと、救急システムコントローラ６と救急通信器７を有する救急医療情報センターＣと、を備え、受傷対象者の衝突傷害レベルに応じて事故現場への救急医療用移動手段の派遣を要請する先進事故自動通報システムAACNにおいて、
車載コントローラ２は、自動車事故発生時に車載カメラ１が撮像した衝突事故画像の画像データを外部へ送信する画像データ送信部２ｃを有し、
外部サーバ４は、自動車Ａから受信した画像データと深層学習の実施により作成された人工知能モデルとを用い、受傷対象者の衝突傷害の発生程度を予測する傷害発生程度予測部４ｂと、衝突傷害の発生程度予測に基づいて求められた衝突傷害の判定レベルを救急医療情報センターＣへ送信する衝突傷害判定結果送信部４ｄと、を有し、
救急システムコントローラ６は、情報管理センターＢから受信した衝突傷害の判定レベルを報知する衝突傷害判定レベル報知部６ａを有する。
このため、自動車事故発生時の救急車による受傷対象者（救命・救急患者）の的確かつ迅速な医療機関への搬送、並びに、事故現場への救急医療用のドクターヘリやドクターカーの早期派遣を達成することができる。この結果、救急医療用のドクターヘリやドクターカーの不要な出動を大幅に低減すること、及び、救命救急が必要な患者の取りこぼしを削減することができ、適切な救命・救急を可能にする。

【0085】

以上、本発明の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システムを実施例１に基づき説明してきた。しかし、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

【0086】

実施例１では、人工知能モデルを選定する一例として、ニューラルネットワークの１種である畳み込みニューラルネットワーク構造を有する人工知能モデルを選定する例を示した。しかし、人工知能モデルとしては、畳み込みではないニューラルネットワーク構造を有する人工知能モデルを選定する例であっても勿論良い。この場合も従来手法に比べ、衝突傷害予測精度を向上することや衝突傷害予測エラーを低減することができる。また、深層学習に使用する学習データとして動画を使用することもできる。

【0087】

実施例１では、車載カメラ１が撮像した衝突事故画像の画像データのうち、受傷対象者の衝突傷害レベル予測に用いる画像データは、事故発生時から60msec以上経過したタイミングで取得された静止画像データ又は動画データとする例を示した。しかし、車載カメラが撮像した衝突事故画像の画像データは、事故発生時から受傷対象者の挙動の違いが現れるタイミングで取得された静止画像データ又は動画データとするものであれば、事故発生時から60msecより短いタイミングや長いタイミングであっても良い。例えば、事故発生時から所定時間間隔による複数枚の静止画像データ、又は、事故発生時から所定時間までの動画データとし、外部サーバが画像データを入力した後、特徴箇所の挙動変化がみられる静止画像データ又は動画データを抽出し、抽出した画像データを傷害発生程度予測部へ入力するようにしても良い。

【0088】

実施例１では、衝突傷害予測方法として、車載カメラ１を搭載した自動車Ａとの通信により外部サーバ４にて実行される例を示した。しかし、高度な車載機が、外部サーバと同等の働きができる場合には、外部サーバの代わりに高度な車載機を用いても良い。この場合、車室内に向けて配置された車載カメラからの画像データに基づいて車室内乗員の衝突傷害を予測するのに有効である。

【0089】

実施例１では、本発明の衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システムを、先進事故自動通報システムAACNに適用する例を示した。しかし、本発明の衝突傷害予測モデル作成方法のみを実施する場合であっても本発明に含まれる。また、衝突傷害予測方法、衝突傷害予測システムのそれぞれを実施する場合であっても本発明に含まれる。さらに、衝突傷害予測方法、衝突傷害予測システムのそれぞれを先進事故自動通報システム以外に適用する場合であっても本発明に含まれる。

【符号の説明】

【0090】

AACN 先進事故自動通報システム
Ａ 自動車
１ 車載カメラ
２ 車載コントローラ
２ａ 画像取得部
２ｂ 画像データ送信部
３ 車載通信器
Ｂ 情報管理センター
４ 外部サーバ
４ａ 入力部
４ｂ 傷害発生程度予測部
４ｃ 表示出力部（出力部）
４ｄ 衝突傷害判定結果送信部
４０ 深層学習プログラム
４ｅ データベース作成部
４ｆ 学習データセット作成部
４ｇ 深層学習実施部
４ｈ 人工知能モデル作成部
５ 外部通信器
Ｃ 救急医療情報センター
６ 救急システムコントローラ
６ａ 衝突傷害判定レベル報知部
７ 救急通信器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】