特開 2025-14374 検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014374

(43)【公開日】2025-01-30

(54)【発明の名称】検知システム

(51)【国際特許分類】

   G01R 27/26 20060101AFI20250123BHJP

   E05F 15/73 20150101ALI20250123BHJP

   B60R 25/01 20130101ALI20250123BHJP

   E05B 49/00 20060101ALI20250123BHJP

   G06N 3/044 20230101ALN20250123BHJP

   B60J 5/10 20060101ALN20250123BHJP

【ＦＩ】

G01R27/26 C

E05F15/73

B60R25/01

E05B49/00 Z

G06N3/044 100

B60J5/10 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023116876

(22)【出願日】2023-07-18

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＣＲＥＳＴ）「スピンエッジコンピューティングハードウェア基盤」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】平沼 和彦

(72)【発明者】

【氏名】佐藤 茂雄

(72)【発明者】

【氏名】守谷 哲

【テーマコード（参考）】

2E052

2E250

2G028

【Ｆターム（参考）】

2E052AA09

2E052BA07

2E052CA06

2E052EA01

2E052EA16

2E052EB01

2E052EC01

2E052GA07

2E052GB01

2E250AA21

2E250BB05

2E250DD07

2E250FF08

2E250FF18

2E250HH01

2E250JJ03

2G028AA01

2G028BB06

2G028BC07

2G028CG07

(57)【要約】

【課題】使用時における環境による影響を低減し、所定の事象の発生を高精度に検知可能な動作検知システムを提供する。
【解決手段】実施形態の検知システムは、センサから出力されたセンサデータを取得する取得部と、所定の準備期間中に取得されたセンサデータを用いてニューラルネットワークに対する学習処理を実行することにより、第１時刻に対応するセンサデータを入力し、第１時刻から所定時間経過した第２時刻に対応するセンサデータの予測値を出力するモデルを、準備期間毎に生成する生成部と、モデルから出力される予測値と第２時刻に対応する実際のセンサデータとの差分に基づいて、所定の事象が生じたか否かを判定する判定部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

センサから出力されたセンサデータを取得する取得部と、
所定の準備期間中に取得された前記センサデータを用いてニューラルネットワークに対する学習処理を実行することにより、第１時刻に対応する前記センサデータを入力し、前記第１時刻から所定時間経過した第２時刻に対応する前記センサデータの予測値を出力するモデルを、前記準備期間毎に生成する生成部と、
前記モデルから出力される前記予測値と前記第２時刻に対応する実際の前記センサデータとの差分に基づいて、所定の事象が生じたか否かを判定する判定部と、
を備える検知システム。

【請求項2】

前記ニューラルネットワークは、リザバー層と、前記リザバー層からの出力に対して所定の出力結合重みで重み付けすることにより前記予測値を出力する出力層と、を含み、
前記学習処理は、前記予測値と正解値との誤差に基づいて前記出力結合重みを更新するリザバーコンピューティングを含む、
請求項１に記載の検知システム。

【請求項3】

前記センサデータは、前記センサの検出範囲内で行われる人物の動作に応じて変化し、
前記準備期間は、前記検出範囲内に前記人物が存在しない期間であり、
前記事象は、前記検出範囲内で前記人物が行う所定の動作である、
請求項１に記載の検知システム。

【請求項4】

前記センサは、移動体の開閉機構に対応する位置に設置された静電容量センサであり、
前記動作は、前記人物が前記移動体の下部の空間に足を出し入れするキック動作である、
請求項３に記載の検知システム。

【請求項5】

前記準備期間は、前記移動体を駆動させるためのキーを携帯している人物が、前記移動体から第１距離以内の領域に進入した後、前記移動体から前記第１距離より小さい第２距離離れた位置に到達するまでの期間を含む、
請求項４に記載の検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検知システムに関する。

【背景技術】

【0002】

近年、様々な技術分野において所定の事象の検知に機械学習により生成された学習済みモデルが利用されている。例えば、車両に搭載されたセンサの検出結果（センサデータ）に基づいて車両や乗員の挙動を検知する際に、学習済みモデルによる予測結果が利用される場合がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１８０７０１号公報

【特許文献2】特開２００６－７０７０４号公報

【特許文献3】特開２０１９－１０６０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、センサの種類や設置位置等によっては、使用時における環境（例えば天候等）の影響が大きくなり、センサデータに機械学習時には想定されなかったノイズが含まれる場合がある。このような場合、学習済みモデルを利用しても高精度な検知を実現できない可能性がある。

【0005】

そこで、本発明の実施形態が解決しようとする課題の一つは、使用時における環境による影響を低減し、所定の事象の発生を高精度に検知可能な動作検知システムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一実施形態としての検知システムは、センサから出力されたセンサデータを取得する取得部と、所定の準備期間中に取得されたセンサデータを用いてニューラルネットワークに対する学習処理を実行することにより、第１時刻に対応するセンサデータを入力し、第１時刻から所定時間経過した第２時刻に対応するセンサデータの予測値を出力するモデルを、準備期間毎に生成する生成部と、モデルから出力される予測値と第２時刻に対応する実際のセンサデータとの差分に基づいて、所定の事象が生じたか否かを判定する判定部と、を備えることを特徴とする。

【0007】

上記構成によれば、準備期間における環境（例えば天候等）に適合したモデルを準備期間毎に生成できる。そのため、所定の事象が生じたか否かを判定する判定処理を、当該判定処理を行うときの環境に近い環境に適合したモデルを用いて実行できる。これにより、センサを野外等の環境の変化が大きい場所に設置する場合であっても、環境による影響を低減し、所定の事象を高精度に検知できる。

【0008】

また、上記構成において、ニューラルネットワークは、リザバー層と、リザバー層からの出力に対して所定の出力結合重みで重み付けすることにより予測値を出力する出力層と、を含み、学習処理は、予測値と正解値との誤差に基づいて出力結合重みを更新するリザバーコンピューティングを含んでもよい。

【0009】

上記構成によれば、高速学習が可能なリザバーコンピューティングによりモデルが生成される。これにより、判定処理を実行する直前に準備期間を設定し、当該判定処理が実行されるときの環境に極めて近い環境に適合したモデルを生成できる。

【0010】

また、上記構成において、センサデータは、センサの検出範囲内で行われる人物の動作に応じて変化し、準備期間は、検出範囲内に人物が存在しない期間であり、事象は、検出範囲内で人物が行う所定の動作であってもよい。

【0011】

上記構成によれば、野外等の環境の変化が大きい場所に設置されたセンサのセンサデータを用いて人物の所定の動作を高精度に検知できる。

【0012】

また、上記構成において、センサは、移動体の開閉機構に対応する位置に設置された静電容量センサであり、動作は、人物が移動体の下部の空間に足を出し入れするキック動作であってもよい。

【0013】

上記構成によれば、車両等の移動体の開閉機構（例えばバックドア等）を特定の人物によるキック動作で自動開閉するシステムのロバスト性を向上させることができる。

【0014】

また、上記構成において、準備期間は、移動体を駆動させるためのキーを携帯している人物が、移動体から第１距離以内の領域に進入した後、移動体から第１距離より小さい第２距離離れた位置に到達するまでの期間を含んでもよい。

【0015】

上記構成によれば、人物が移動体に近づいてくる間にモデルが生成される。これにより、人物がキック動作を行う際の環境に極めて近い環境に適合したモデルを用いて、キック動作を高精度に検知できる。

【図面の簡単な説明】

【0016】

【図1】図１は、実施形態の車両の構成の一例を示す図である。

【図2】図２は、実施形態のドア開閉システム及び検知システムの構成の一例を示す図である。

【図3】図３は、実施形態の判定ＥＣＵの機能構成の一例を示す図である。

【図4】図４は、実施形態のモデル及び学習処理の一例を示す図である。

【図5】図５は、実施形態の準備期間の一例を示す図である。

【図6】図６は、実施形態の検知システムにおいてモデルを生成する際の処理の一例を示すフローチャートである。

【図7】図７は、実施形態におけるキック動作の判定方法の一例を示す図である。

【図8】図８は、実施形態の検知システムにおいてキック動作の有無を判定する際の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によりもたらされる作用、結果及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

【0018】

図１は、実施形態の車両１の構成の一例を示す図である。本実施形態の車両１（移動体の一例）は、車体２の後部に設けられたバックドア３（開閉機構の一例）を特定の人物（例えば車両１を駆動させるためのキーを携帯している者等）のキック動作（所定の動作の一例）に応じて自動的に開閉するドア開閉システムＳを備える。キック動作とは、特定の人物が車体２の所定部分（本例ではバックドア３の下部の空間）に足Ｆを出し入れする動作である。

【0019】

ドア開閉システムＳは、特定の人物がキック動作を行ったことを検知する検知システムＳ１を含む。検知システムＳ１は、バックドア３の下部（後部バンパ４の裏側）に設置されたキックセンサ１１（センサの一例）を含む。本実施形態のキックセンサ１１は、検出範囲（後部バンパ４の下方領域等）内で行われるキック動作に応じて変化するセンサデータを出力する。キックセンサ１１は、例えば静電容量センサ等であり得る。この場合、キックセンサ１１は、検出範囲内における足Ｆ等の物体の変位に応じて変化する静電容量値を示すセンサデータを出力する。

【0020】

なお、上記構成は一例であり、ドア開閉システムＳ、検知システムＳ１及びこれらが搭載される機構（車両１等の移動体）の構成は上記に限定されるものではない。例えば、ここではキック動作により自動開閉される開閉機構がバックドア３のみである場合を例として説明するが、スライドドア５等の他の開閉機構が自動開閉されてもよい。この場合、スライドドア５に対応する部分（例えばスライドドア５の下部等）にもキックセンサ１１が搭載される。

【0021】

図２は、実施形態のドア開閉システムＳ及び検知システムＳ１の構成の一例を示す図である。ドア開閉システムＳは、検知システムＳ１、ドア制御ＥＣＵ（Electronic Control Unit）２１、ロック機構２２及び駆動機構２３を含む。

【0022】

検知システムＳ１は、キックセンサ１１及び判定ＥＣＵ１２を含む。判定ＥＣＵ１２は、キックセンサ１１から出力されるセンサデータに基づいて特定の人物によるキック動作の有無を判定するための処理を実行する。判定ＥＣＵ１２の具体的な機能構成については後述する。判定ＥＣＵ１２は、適宜なハードウェア及びソフトウェアを利用して構成される情報処理装置であり、例えばＣＰＵ（Central Processing Unit）、メモリ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等を利用して構成され得る。

【0023】

ロック機構２２は、バックドア３等の開閉機構を施錠状態と開錠状態とで切り替える機構であり、適宜な係止構造やアクチュエータ等を利用して構成され得る。駆動機構２３は、バックドア３を自動的に開閉させる機構であり、回転軸を中心にバックドア３を回動させるアクチュエータ等を利用して構成され得る。

【0024】

ドア制御ＥＣＵ２１は、判定ＥＣＵ１２による判定結果に基づいてロック機構２２及び駆動機構２３を制御するための処理を実行する。具体的には、ドア制御ＥＣＵ２１は、判定ＥＣＵ１２から特定の人物によるキック動作が行われたことを示す判定結果が出力された場合に、閉鎖状態のバックドア３を自動的に開放するように、又は開放状態のバックドア３を自動的に閉鎖するように、ロック機構２２及び駆動機構２３を制御する。ドア制御ＥＣＵ２１は、適宜なハードウェア及びソフトウェアを利用して構成される情報処理装置であり、例えばＣＰＵ、メモリ、ＦＰＧＡ、ＡＳＩＣ等を利用して構成され得る。

【0025】

図３は、実施形態の判定ＥＣＵ１２の機能構成の一例を示す図である。本実施形態の判定ＥＣＵ１２は、取得部１０１、生成部１０２及び判定部１０３を有する。これらの機能部１０１～１０３は、判定ＥＣＵ１２を構成するハードウェア要素とソフトウェア要素（プログラム等）との協働により構成され得る。また、これらの機能部１０１～１０３のうちの少なくとも１つが専用のハードウェア（回路等）により構成されてもよい。

【0026】

取得部１０１は、キックセンサ１１から出力されるセンサデータを取得する。

【0027】

生成部１０２は、ニューラルネットワーク（ニューロンのネットワーク構造を模した集積回路、数理モデル等）に対する学習処理により、キック動作の有無を判定するために利用可能な学習済みモデルであるモデルＭを生成する。本実施形態の生成部１０２は、所定の準備期間中に取得されたセンサデータを用いてニューラルネットワークに対する学習処理を実行することにより、準備期間毎にモデルＭを生成する学習処理部１１１を有する。モデルＭは、第１時刻に対応するセンサデータを入力し、第１時刻から所定時間経過した第２時刻に対応するセンサデータの予測値を出力するものである。モデルＭ及び学習処理については後述する。

【0028】

判定部１０３は、モデルＭから出力される予測値と、第２時刻に対応する実際のセンサデータと、の差分に基づいて、特定の人物によるキック動作が行われたか否かを判定し、その判定結果をドア制御ＥＣＵ２１に出力する。

【0029】

図４は、実施形態のモデルＭ及び学習処理の一例を示す図である。図４において、モデルＭを生成する学習段階における処理の一例が示されている。本実施形態のモデルＭは、入力層２０１、リザバー層２０２及び出力層２０３を含むニューラルネットワークを利用して構成され、いわゆるリザバーコンピューティングと称される手法を用いて生成されるものである。

【0030】

入力層２０１は、キックセンサ１１から出力されたセンサデータの値ｕ（ｔ）を入力値として入力し、当該入力値ｕ（ｔ）に対して所定の入力結合重みＷ_ｉｎで重み付けした値を出力する。ここで、ｔは、一連の時系列上の検出時刻（例えばセンサデータが取得された時刻）を示し、入力層２０１には検出時刻ｔ，ｔ＋１，ｔ＋２，…毎の入力値ｕ（ｔ），ｕ（ｔ＋１），ｕ（ｔ＋２），…が入力される。

【0031】

リザバー層２０２は、複数のニューロンがランダムに連結された再帰的なネットワークで構成され、各ニューロンは状態値ｘ（ｔ）を有している。状態値ｘ（ｔ）は、過去の状態値ｘ（ｔ－１）に対して所定の再帰結合重みＷで重み付けした値と、入力層２０１から出力された値と、出力層２０３から出力された値ｙ（ｔ）に対して所定のフィードバック結合重みＷ_ｆｂで重み付けした値と、によって定まる。

【0032】

出力層２０３は、リザバー層２０２から出力された状態値ｘ（ｔ）に対して所定の出力結合重みＷ_ｏｕｔで重み付けした値ｙ（ｔ）を出力値として出力する。当該出力値ｙ（ｔ）は、第１時刻ｔに対応するセンサデータの入力値ｕ（ｔ）を入力した場合における、第２時刻ｔ＋１に対応するセンサデータの入力値ｕ（ｔ＋１）の予測値である。第２時刻ｔ＋１は、第１時刻ｔから所定時間経過した時刻である。また、第１時刻ｔ及び第２時刻ｔ＋１は、後述する準備期間中における時刻である。過去の時刻ｔ－１は、第１時刻ｔの直前における時刻である。

【0033】

本実施形態の学習処理では、入力結合重みＷ_ｉｎ、再帰結合重みＷ及びフィードバック重みＷ_ｆｂは固定され、出力結合重みＷ_ｏｕｔのみが予測値ｙ（ｔ）と正解値（第２時刻ｔ＋１に対応するセンサデータの入力値）ｕ（ｔ＋１）との誤差に基づいて、当該誤差が小さくなるように更新される。当該出力結合重みＷ_ｏｕｔを更新する更新処理の具体的手法は特に限定されるべきものではないが、例えば勾配下降法等が利用され得る。

【0034】

上記のような学習処理は、所定の準備期間中に取得されるセンサデータを用いて実行される。準備期間は、キックセンサ１１の検出範囲内に人物（足Ｆ等）が存在しない期間であり、且つキック動作が行われるタイミングより前であって当該タイミングにできるだけ近い期間であることが好ましい。

【0035】

図５は、実施形態の準備期間Ｔの一例を示す図である。図５において、特定の人物Ｐが車両１に徐々に近づいていく状況が例示されている。ここでは、特定の人物Ｐは、車両１を駆動させるためのスマートキー５１を携帯している者であるとし、車両１は、スマートキー５１から送信される電磁信号に基づいて車両１と人物Ｐ（スマートキー５１）との距離を推定する機能を有するものとする。

【0036】

準備期間Ｔは、例えば、人物Ｐが車両１から距離Ｄ１（第１距離の一例）以内の領域に進入した後、車両１から距離Ｄ１より小さい距離Ｄ２（第２距離の一例）の位置に到達するまでの期間であり得る。準備期間Ｔをこのように設定することにより、人物Ｐがキック動作を行う直前における環境（例えば天候等）に対応するモデルＭを生成できる。また、本実施形態によれば、リザバーコンピューティングによりモデルＭが生成されるため、高速且つ低演算負荷でモデルＭを生成できる。

【0037】

図６は、実施形態の検知システムＳ１においてモデルＭを生成する際の処理の一例を示すフローチャートである。生成部１０２は、車両１が停止状態であるか否かを判定し（Ｓ１０１）、停止状態でない場合（Ｓ１０１：Ｎｏ）、本ルーチンを終了する。車両１が停止状態である場合（Ｓ１０１：Ｙｅｓ）、スマートキー５１を携帯している人物Ｐが車両１から距離Ｄ１以内の領域に進入したか否かを判定する（Ｓ１０２）。

【0038】

人物Ｐが距離Ｄ１内に進入していない場合（Ｓ１０２：Ｎｏ）、本ルーチンを終了する。人物Ｐが距離Ｄ１内に進入した場合（Ｓ１０２：Ｙｅｓ）、生成部１０２は、準備期間Ｔが開始したと判断し、当該準備期間Ｔ中にキックセンサ１１から出力されるセンサデータを用いて上述したような学習処理を実行してモデルＭを生成する（Ｓ１０３）。

【0039】

その後、生成部１０２は、人物Ｐが車両１から距離Ｄ２の位置に到達したか否かを判定し（Ｓ１０４）、人物Ｐが距離Ｄ２に到達していない場合（Ｓ１０４：Ｎｏ）、再度ステップＳ１０２以降の処理を実行する。このとき、人物Ｐが距離Ｄ１内に留まっている場合（Ｓ１０２：Ｙｅｓ）、学習処理が継続され（Ｓ１０３）、人物Ｐが距離Ｄ１内から出た場合（Ｓ１０２：Ｎｏ）、本ルーチンは終了する。

【0040】

人物Ｐが距離Ｄ２に到達した場合（Ｓ１０４：Ｙｅｓ）、生成部１０２は、準備期間Ｔが終了したと判断し、モデルＭの生成を終了する。

【0041】

本実施形態の判定部１０３は、上記のように準備期間Ｔにおいて生成部１０２により生成されたモデルＭから出力される予測値に基づいて、人物Ｐがキック動作を行ったか否かを判定する（Ｓ１０５）。

【0042】

図７は、実施形態におけるキック動作の判定方法の一例を示す図である。図７において、実際にキック動作の有無を判定する推定段階における判定部１０３による処理が例示されている。

【0043】

推定段階において、判定部１０３は、モデルＭに第１時刻ｔに対応するセンサデータの入力値ｕ（ｔ）を入力することにより得られる予測値ｙ（ｔ）と、第２時刻ｔ＋１に対応するセンサデータの入力値ｕ（ｔ＋１）と、の差分Δｕに基づいて、キック動作の有無を判定する。例えば、差分Δｕが閾値より大きい場合には、キック動作が行われたと判定され、差分Δｕが閾値以下である場合には、キック動作は行われていないと判定される。モデルＭから出力される予測値ｙ（ｔ）は、キック動作が行われていない状況に対応する値であるから、差分Δｕが大きい場合には、キック動作が行われたものと推定できる。

【0044】

図８は、実施形態の検知システムＳ１においてキック動作の有無を判定する際の処理の一例を示すフローチャートである。判定部１０３は、モデルＭの入力層２０１に第１時刻ｔに対応するセンサデータの入力値ｕ（ｔ）を入力してモデルＭから得られる予測値ｙ（ｔ）と、第２時刻ｔ＋１に対応するセンサデータの入力値（正解値）ｕ（ｔ＋１）とを取得し、その差分Δｕを計算し（Ｓ２０１）、差分Δｕが閾値より大きいか否かを判定する（Ｓ２０２）。そして、判定部１０３は、差分Δｕが閾値より大きい場合（Ｓ２０２：Ｙｅｓ）、キック動作が行われたと判定し（Ｓ２０３）、差分Δｕが閾値より大きくない場合（Ｓ２０２：Ｎｏ）、キック動作は行われていないと判定する（Ｓ２０４）。

【0045】

上記のように、本実施形態によれば、推定段階に入る直前の準備期間Ｔ中に取得されたセンサデータを用いて高速に行われる学習処理によりモデルＭが生成される。そのため、モデルＭから出力される予想値ｙ（ｔ）は、準備期間Ｔにおける環境（例えば天候等）が加味された値となる。これにより、推定段階における環境の影響が低減され、キック動作の有無を高精度に判定することが可能となる。

【0046】

上記実施形態の検知システムＳ１の機能を実現するための処理をコンピュータ（判定ＥＣＵ１２等）に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

【0047】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0048】

１…車両、２…車体、３…バックドア、４…後部バンパ、５…スライドドア、１１…キックセンサ、１２…判定ＥＣＵ、２１…ドア制御ＥＣＵ、２２…ロック機構、２３…駆動機構、５１…スマートキー、１０１…取得部、１０２…生成部、１０３…判定部、１１１…学習処理部、２０１…入力層、２０２…リザバー層、２０３…出力層、Ｆ…足、Ｍ…モデル、Ｐ…人物、Ｓ…ドア開閉システム、Ｓ１…検知システム、Ｔ…準備期間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】