特開 2023-9009 データ依拠モデルを妥当性検査するための装置、記憶媒体、コンピュータプログラム及びコンピュータ実装された方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023009009

(43)【公開日】2023-01-19

(54)【発明の名称】データ依拠モデルを妥当性検査するための装置、記憶媒体、コンピュータプログラム及びコンピュータ実装された方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230112BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022107653

(22)【出願日】2022-07-04

(31)【優先権主張番号】10 2021 207 008.6

(32)【優先日】2021-07-05

(33)【優先権主張国・地域又は機関】DE

(31)【優先権主張番号】10 2021 207 246.1

(32)【優先日】2021-07-08

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】アーミン ルンゲ

(72)【発明者】

【氏名】クリスティアン ヴァイス

(72)【発明者】

【氏名】ゴア ハコビアン

(72)【発明者】

【氏名】シュテファン ライディヒ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA03

5L096BA20

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】物体を分類するデータ依拠モデルの妥当性を検査する装置、方法及びプログラムを提供する。
【解決手段】特に物体タイプ２１０に関するクラス又は車両２００の運転者支援システム用の機能タイプに関するクラスに、物体２０８を分類するデータ依拠モデル２０６を妥当性検査する方法であって、分類を、ディジタル信号に依存して、特にディジタル画像２０２に、特にレーダスペクトル若しくはＬｉｄａｒスペクトルに又はスペクトルのうち一方のスペクトルのセグメント２０４に依存して、データ依拠モデルによって求め、ディジタル画像２０２に依存して基準モデルにより、物体に関する基準分類を求め、分類と基準分類とに依存して、物体に関するデータ依拠モデルの分類が適正であるか否かをチェックし、データ依拠モデルが、物体に関する当該データ依拠モデルの分類が適正であるか否かに依存して、妥当性検査するか又は妥当性検査しない。
【選択図】図２

【特許請求の範囲】

【請求項1】

特に物体タイプ（２１０）に関するクラスに、又は、車両（２００）の運転者支援システム用の機能タイプに関するクラスに、物体（２０８）を分類するデータ依拠モデル（２０６）を妥当性検査するためのコンピュータ実装された方法であって、
前記分類は、ディジタル信号に依存して、特にディジタル画像（２０２）に、特にレーダスペクトル若しくはＬｉｄａｒスペクトルに又は前記スペクトルのうち一方のスペクトルのセグメント（２０４）に依存して、前記データ依拠モデル（２０６）によって求められ（３２２、３２４、３２６）、
前記ディジタル信号（２０２）に依存して基準モデルにより、前記物体（２０８）に関する基準分類が求められ（３１６、３１８、３２０）、
前記分類と前記基準分類とに依存して、前記物体（２０８）に関する前記データ依拠モデル（２０６）の分類が適正であるか否かがチェックされ（３３６）、
前記データ依拠モデル（２０６）は、前記物体（２０８）に関する当該データ依拠モデル（２０６）の分類が適正であるか否かに依存して、妥当性検査される又は妥当性検査されない、
コンピュータ実装された方法において、
前記分類及び前記基準分類が、ディジタル信号セットについて求められ、前記ディジタル信号セットは、前記物体と基準点、特に前記車両又は前記セットを検出するセンサとの間の種々の距離に割り当てられており、
前記セットからのディジタル信号ごとに、信頼基準、特に前記物体と前記基準点との距離が求められ（３１４）、
前記物体に関する前記データ依拠モデルの前記分類が、前記ディジタル信号において適正であり、前記ディジタル信号の信頼基準が条件、特に前記距離が前記基準点までの基準距離以内であるという条件を満たしている場合には、前記データ依拠モデルが妥当性検査される（３２８）
ことを特徴とする、コンピュータ実装された方法。

【請求項2】

前記信頼基準が前記条件、特に前記距離が前記基準距離以内であるという前記条件を満たしており、かつ、前記分類が前記基準分類とは異なる場合には、前記ディジタル信号の前記セットと前記基準分類とが互いに対応づけられて記憶され（３４６）、そうでない場合には、前記ディジタル信号は、破棄され及び／又は記憶されない、
請求項１に記載の方法。

【請求項3】

前記セットについて、第１の値と第２の値とを含む値ペアが求められ、前記第１の値は以下の距離を表し、即ち、当該距離以内では前記物体に関する前記基準分類が適正である距離を表し、前記第２の値は、以下の距離を表し、即ち、当該距離以内では前記物体に関する前記データ依拠モデルの分類が適正である距離、又は、当該距離と前記基準距離との間隔を表す、
請求項１又は２に記載の方法。

【請求項4】

前記値ペアのためにメモリ内のメモリロケーションが求められ、前記メモリロケーションに記憶された値は、前記値ペアの値に依存して変更される、
請求項３に記載の方法。

【請求項5】

前記データ依拠モデルは、前記メモリロケーションに記憶された位置に依存して妥当性検査される、
請求項４に記載の方法。

【請求項6】

ディジタル信号の複数のセットについて、前記ディジタル信号の分類及び基準分類が求められ、前記物体に関する前記データ依拠モデルの分類が適正であるか否かがチェックされる、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記複数のセットからのセットごとに、個々のセットに関する第１の値と第２の値とを含む値ペアが求められ、セットごとに当該セットについて求められた前記値ペアのためのメモリロケーションが求められ、前記メモリロケーションに記憶された値は、前記値ペアの値に依存して変更される、
請求項６に記載の方法。

【請求項8】

ディジタル信号ごとに１つのポジションが、特に衛星ナビゲーション用システム（１０８）によって、検出及び／又は記憶され、前記距離は、前記ポジションに依存して求められる、
請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記データ依拠モデル（２０６）の妥当性検査に失敗した場合には、前記データ依拠モデル（２０６）が新たにトレーニングされ、他のデータによってトレーニングされ、及び／又は、他のデータ依拠モデルが用いられる、
請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記データ依拠モデル（２０６）の妥当性検査に成功した場合には、物体分類システムにおいて、特に運転者支援システムにおいて、前記データ依拠モデル（２０６）が用いられる、
請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

物体を分類するデータ依拠モデルを妥当性検査するための装置（１００）において、
当該装置は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つのメモリ（１０４）とを含み、当該装置は、請求項１乃至１０のいずれか一項に記載の方法を実施するように構成されていることを特徴とする、
物体を分類するデータ依拠モデルを妥当性検査するための装置（１００）。

【請求項12】

コンピュータプログラムにおいて、
当該コンピュータプログラムは、機械可読命令を含み、前記機械可読命令がコンピュータによって実行されるときに、請求項１乃至１０のいずれか一項に記載の方法が実施されるためのものであることを特徴とするコンピュータプログラム。

【請求項13】

記憶媒体、特に固定記憶媒体において、
当該記憶媒体に請求項１２に記載のコンピュータプログラムが記憶されていることを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ依拠モデルを妥当性検査するための装置、記憶媒体、コンピュータプログラム及びコンピュータ実装された方法に関する。

【背景技術】

【0002】

緊急ブレーキ支援及び間隔／速度自動制御といった運転者支援システムは、ビデオセンサ及び／又はレーダセンサによって実現することができる。これらのセンサのデータに符号化された物体は、物体認識によって認識し、物体タイプ認識によって分類することができる。

【0003】

データ依拠モデルは、物体タイプ認識に用いることができる。安全上重大な用途において、データ依拠モデルを使用するために前提とすることは、データ依拠モデルを妥当性検査することであり、さらに、例えば、データ依拠モデルの妥当性検査又はトレーニングのために典型的なデータセットを作成することである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明の開示
独立請求項に記載の方法及び装置によれば、データ依拠モデルの妥当性検査及びそのための典型的なデータセットの作成が可能となる。

【課題を解決するための手段】

【0005】

特に物体タイプに関するクラスに、又は、車両の運転者支援システム用の機能タイプに関するクラスに、物体を分類するデータ依拠モデルを妥当性検査するためのコンピュータ実装された方法は、以下のように構成される。即ち、分類は、ディジタル信号に依存して、特にディジタル画像に、特にレーダスペクトル若しくはＬｉｄａｒスペクトルに又はこれらのスペクトルのうち一方のスペクトルのセグメントに依存して、データ依拠モデルによって求められ、ディジタル信号に依存して基準モデルにより、物体に関する基準分類が求められ、分類と基準分類とに依存して、物体に関するデータ依拠モデルの分類が適正であるか否かがチェックされ、データ依拠モデルが、物体に関するデータ依拠モデルの分類が適正であるか否かに依存して、妥当性検査され又は妥当性検査されず、分類及び基準分類が、好ましくはディジタル信号セットについて求められ、このディジタル信号セットは、物体と基準点、特に車両又はセットを検出するセンサとの間の種々の距離に割り当てられており、このセットからのディジタル信号ごとに、信頼基準、特に物体と基準点との距離が求められ、物体に関するデータ依拠モデルの分類が、ディジタル信号において適正であり、このディジタル信号の信頼基準が条件、特に距離が基準点までの基準距離以内であるという条件を満たしている場合には、データ依拠モデルが妥当性検査される。信頼性が増加するにつれて、例えば、距離が短くなるにつれて、基準モデルは、適正な物体タイプを確実に認識する。データ依拠モデルの妥当性検査については、意図する機能の遵守に関する証明がなされなければならない。この方法によれば、様々な現実の状況に関して統計的論証が可能となる。妥当性検査によって、データ依拠モデルにより誤った判定に至らなかったこと、若しくは、それどころかデータ依拠モデルの判定が基準モデルよりも優れていたことが証明され、又は、このことが該当しないことが確認される。信頼基準を用いることによって、格別に信頼性の高い妥当性検査が可能となる。

【0006】

ここで想定されることは、信頼基準が条件、特に距離が基準距離以内であるという条件を満たしており、かつ、分類が基準分類とは異なる場合には、ディジタル信号のセットと基準分類とが互いに対応づけられて記憶され、そうでない場合には、ディジタル信号は破棄され及び／又は記憶されない、というように構成することである。これによって、誤った分類が認識され、トレーニングに特に良好に適したデータセットが、わずかな手間しかかけずに作成される。

【0007】

好ましくは、このセットについて、第１の値と第２の値とを含む値ペアが求められ、第１の値は、以下の距離を表し、即ち、この距離以内では物体に関する基準分類が適正である距離を表し、第２の値は、以下の距離を表し、即ち、この距離以内では物体に関するデータ依拠モデルの分類が適正である距離、又は、この距離と基準距離との間隔を表す。データ依拠モデルは、少なくともこの距離以内にある物体を、基準モデルのように適正に分類することが望ましい。第１の値及び第２の値は、そのために必要な情報を含み、しかも妥当性検査において簡単に評価可能な量である。

【0008】

好ましくは、値ペアのためにメモリ内のメモリロケーションが求められ、このメモリロケーションに記憶された値は、値ペアの値に依存して変更される。第１の値及び第２の値自体を記憶する代わりに、ただ１つの値だけが記憶される。このことは、妥当性検査のために、特に簡単に評価可能な量に関して累積された情報を記憶するための特に効率的な手法である。

【0009】

好ましくは、データ依拠モデルは、このメモリロケーションに記憶された位置に依存して妥当性検査される。

【0010】

好ましくは、ディジタル信号の複数のセットについて、このディジタル信号の分類及び基準分類が求められ、物体に関するデータ依拠モデルの分類が適正であるか否かがチェックされる。ディジタル信号は、物体に接近する走行時に様々な距離において発生する個々の記録から成るシーケンスを表す。これらの記録は、レーダ記録、Ｌｉｄａｒ記録若しくはビデオ記録又はそれらの記録のスペクトルとすることができる。これらの記録は、それらから導出された信号とすることもできる。スペクトルは１つの可能性であるが、点群又は導出された他の信号を用いることもできる。ディジタル信号の多数のセットの分類は、この種の多数の接近走行に関する分類を表す。これによって、データ依拠モデルを確実に妥当性検査する目的で、統計的に関連する大量の様々な状況が確保される。

【0011】

ここで想定されることは、多数のセットからのセットごとに、個々のセットに関する第１の値と第２の値とを含む値ペアが求められ、セットごとにこのセットについて求められた値ペアのためのメモリロケーションが求められ、このメモリロケーションに記憶された値は、値ペアの値に依存して変更される、というように構成することである。これによって、データ依拠モデルを妥当性検査するために用いられる統計的に関連する大量の結果が提供される。

【0012】

ここで想定されることは、ディジタル信号ごとに１つのポジションが、特に衛星ナビゲーション用システムによって、検出及び／又は記憶され、距離は、このポジションに依存して求められる、というように構成することである。これによって、地域固有の関連データが求められる。

【0013】

ここで想定されることは、データ依拠モデルの妥当性検査に失敗した場合には、データ依拠モデルが新たにトレーニングされ、他のデータによってトレーニングされ、及び／又は、他のデータ依拠モデルが用いられる、というように構成することである。

【0014】

ここで想定されることは、データ依拠モデルの妥当性検査に成功した場合には、物体分類システムにおいて、特に運転者支援システムにおいて、データ依拠モデルが用いられる、というように構成することである。

【0015】

物体を分類するデータ依拠モデルを妥当性検査するための装置は、少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、上述の方法を実施するように構成されている。

【0016】

機械可読命令を含むコンピュータプログラムであって、この機械可読命令がコンピュータによって実行されるときに、上述の方法が実施されるためのコンピュータプログラムを設けることができる。

【0017】

コンピュータプログラムが記憶されている記憶媒体、特に固定記憶媒体を設けることができる。

【0018】

以下の説明及び図面から、さらに他の有利な実施形態が明らかになる。

【図面の簡単な説明】

【0019】

【図1】装置について示す図である。

【図2】物体認識について概略的に示す図である。

【図3】例示的な方法について示す図である。

【図4】妥当性検査のためのエントリを含む配列を示す図である。

【図5】物体に向かって接近していく例示的な走行について示す図である。

【発明を実施するための形態】

【0020】

図１には、データ依拠モデルを妥当性検査するための装置１００が概略的に示されている。データ依拠モデルは、物体を分類するように構成されている。装置１００は、少なくとも１つのプロセッサ１０２及び少なくとも１つのメモリ１０４を含む。任意選択的に、装置１００は、少なくとも１つのセンサ１０６及び衛星ナビゲーション用システム１０８を含む。

【0021】

少なくとも１つのメモリ１０４は、この実施例においては、メインメモリと固定記憶メモリとを含む。メインメモリは、この実施例においては、固定記憶メモリよりも高速なアクセスを実現する。

【0022】

少なくとも１つのセンサ１０６は、この実施例においては、レーダセンサを含む。レーダセンサは、高周波信号を送信し、静止物体及び移動物体からの反射を受信する。これらの信号は、レーダセンサのアンテナによって受信され、電子装置により電気信号に変換され、アナログ／ディジタル変換器によってディジタル信号に移行させられる。１次的な信号処理、例えばＦＦＴによって、時間信号が周波数空間に移行させられる。

【0023】

少なくとも１つのプロセッサ１０２及び少なくとも１つのメモリ１０４は、この実施例においては、データ接続線と接続されている。少なくとも１つのセンサ１０６及び／又はシステム１０８は、通信のためにデータ接続線によって少なくとも１つのプロセッサ１０２と接続されている。少なくとも１つのセンサ１０６及び／又はシステムは、装置１００の外部からこの装置１００に接続することができ、又は、装置１００内に統合して実装することができる。

【0024】

少なくとも１つのプロセッサ１０２及び少なくとも１つのメモリ１０４は、物体認識、物体タイプ認識、及び、以下において説明する方法又はこの方法におけるステップを実施するように構成されている。

【0025】

図２には、物体認識について概略的に示した図が描かれている。

【0026】

装置１００は、この実施例においては、車両２００内に配置されている。物体認識のために、少なくとも１つのレーダセンサ１０６から受信した信号のスペクトル２０２が用意される。この実施例においては、データ依拠モデル２０６によりスペクトル２０２の１つのセグメント２０４において、物体タイプ認識が実行される。データ依拠モデル２０６は、この実施例においては、人工ニューラルネットワークを含み、これは、例えば畳み込みニューラルネットワークとして構成されている。

【0027】

セグメント２０４は、この実施例においては、物体２０８を含む。データ依拠モデル２０６によって、この実施例においては、物体２０８の物体タイプ２１０が求められる。

【0028】

セグメント２０４内に物体が存在するのか又はそこに物体が存在しないのかという趣旨での物体認識は、様々な手法により行うことができる。例えば、閾値検出器を使用することができる。認識された物体とセンサとの距離は、例えば、伝播時間測定又は位相シフトによって認識することができるようになる。

【0029】

物体認識及び物体タイプ認識は、この実施例においては、運転者支援のために使用される。

【0030】

運転者支援の品質にとって重要であることは、物体タイプ認識の品質である。物体タイプ認識は、以下の物体タイプ、即ち、自家用車、二輪車、歩行者、マンホールカバーを認識するように構成することができる。自動車、二輪車、歩行者という物体タイプは、「無視して通過不可能」というクラスに割り当てることができる。マンホールカバーという物体タイプは、「無視して通過可能」というクラスに割り当てることができる。他の物体タイプを認識するように、物体タイプ認識を構成することもできる。他のクラスを設けることもできる。例えば、物体タイプごとに１つのクラスを設けることが想定される。

【0031】

物体タイプ認識の品質は例えば、認識すべき物体までの距離に関する物体タイプ認識の適正さによって見積もられる。適正に認識されたときの距離が遠くなればなるほど、例えば、品質がより良好になる。なぜならば、それにより、認識された状況に合わせて走行特性を早期に整合させることができるからである。

【0032】

物体タイプ認識の技術的実現は、様々な手法によって可能である。この実施例においては、データ依拠モデル２０６は、人工ニューラルネットワークとして実装されている。妥当性検査対象であるデータ依拠モデル２０６は、ハイブリッドモデルの一部とすることもできる。ハイブリッドモデルとは、このケースにおいては、古典的な信号処理とデータ依拠モデル２０６との組合せのことを指す。データ依拠モデル２０６を妥当性検査するための基準モデルとして、古典的な信号処理コンセプトを用いることができ、又は、既に確立された他のデータ依拠モデルを用いることができる。

【0033】

基準モデルは、ハイブリッドモデル、即ち、古典的な信号処理と少なくとも１つのデータ依拠モデルとの組合せとすることもできる。

【0034】

データ依拠モデル２０６の妥当性検査は、データ依拠モデル２０６により達成される結果と、基準モデルにより達成される結果との比較によって、行うことができる。基準モデルは、好ましくは、証明可能な所定の分類品質を有する。

【0035】

この方法の例示的な流れを、図３を参照しながら説明する。この方法は、近傍領域における分類の品質はそれよりも遠い距離の場合よりも高い、という点を利用している。検出された物体の現実の物体タイプは、時間が経過しても変化することはない。従って、品質を求める目的で、さらにはトレーニングのために重要なデータを識別する目的で、接近中に、即ち、車両２００が現実の物体に向かって接近して走行していく間に、認識された物体タイプに入れ替わりが生じたことを、利用することができる。ここで重要であるのは、距離が遠いときに近距離における分類結果とは異なる分類結果を生じさせた記録である。近距離とは例えば、車両２００又は少なくとも１つのセンサ２０６から現実の物体まで３メートル乃至３０メートルの間隔があるということである。この距離からは、基準モデルによって予測される物体タイプは、基準モデルの収束特性ゆえに適正である、ということを前提とすることができる。

【0036】

本発明に係る方法は、コスト上の理由により、アクセスタイムが高速な所要データメモリ、例えばメインメモリが小さく構成されている。

【0037】

この方法は、例えば、物体検出器により物体を最初に認識したときにスタートする。

【0038】

ステップ３０２において、センサのセンサデータが記録される。センサは、この実施例においては、レーダセンサである。これにより、この関数は、新たなセンサデータを受け取る。センサデータを用いてスペクトルが求められる。この実施例においては、スペクトルを含む１つのフレームが求められる。

【0039】

次いで、ステップ３０４が実施される。

【0040】

ステップ３０４において、物体が認識される。例えば、物体がスペクトルにおいて認識される。

【0041】

ステップ３０４において、スペクトルの現在のセグメントが求められる。セグメントは、この実施例においては、物体を含むスペクトルからの抜粋である。現在のセグメントは、変数Ｓ＿ａｋｔに記憶される。この実施例においては、変数Ｓ＿ａｋｔに現在のセグメントを含む１つのフレームが記憶される。

【0042】

ステップ３０４において、現在の距離が推定される。この距離は、この実施例においては、センサから物体までの距離である。現在の距離は変数ｄ＿ａｋｔに記憶される。

【0043】

次いで、ステップ３０６が実施される。

【0044】

ステップ３０６において、現在のセグメントＳ＿ａｋｔが、一方ではデータ依拠モデル２０６によって、他方では基準モデルによって、分類される。

【0045】

基準モデルの分類結果は、現在の物体タイプ用の変数ＯＴ＿ａｋｔ＿ｂａｓｅに記憶される。妥当性検査対象であるデータ依拠モデルの分類結果は、現在の物体タイプ用の変数ＯＴ＿ａｋｔ＿ｖａｌに記憶される。基準モデルは、確立された物体認識アルゴリズムを含み得る。データ依拠モデルは、妥当性検査対象であるアルゴリズムを含み得る。

【0046】

次いで、ステップ３０８が実施される。

【0047】

ステップ３０８において、今後の過程で用いられる変数が初期化される。

【0048】

データ依拠モデルについて、関連物体タイプ用の変数ＯＴ＿ｒｅｌ＿ｖａｌ、関連セグメント用の変数Ｓ＿ｒｅｌ＿ｖａｌ、関連距離用の変数ｄ＿ｒｅｌ＿ｖａｌが初期化される。

【0049】

基準モデルについて、関連物体タイプ用の変数ＯＴ＿ｒｅｌ＿ｂａｓｅ、関連セグメント用の変数Ｓ＿ｒｅｌ＿ｂａｓｅ、関連距離用の変数ｄ＿ｒｅｌ＿ｂａｓｅが初期化される。しかもエントリ数用の変数ｅｎｔｒｉｅｓが初期化される。この実施例においては、変数は、以下のように対応づけられて記憶される。
ＯＴ＿ｒｅｌ＿ｂａｓｅ＝ＯＴ＿ａｋｔ＿ｂａｓｅ
ＯＴ＿ｒｅｌ＿ｖａｌ＝ＯＴ＿ａｋｔ＿ｖａｌ
Ｓ＿ｒｅｌ＿ｂａｓｅ＝Ｓ＿ａｋｔ
Ｓ＿ｒｅｌ＿ｖａｌ＝Ｓ＿ａｋｔ
ｄ＿ｒｅｌ＿ｂａｓｅ＝ｄ＿ａｋｔ
ｄ＿ｒｅｌ＿ｖａｌ＝ｄ＿ａｋｔ
ｅｎｔｒｉｅｓ＝０

【0050】

次いで、ステップ３１０が実施される。

【0051】

ステップ３１０は、メインループのスタートを成している。

【0052】

ステップ３１０において、以下の変数が以下のように対応づけられて記憶される。
ＯＴ＿ｏｌｄ＿ｂａｓｅ＝ＯＴ＿ａｋｔ＿ｂａｓｅ
ＯＴ＿ｏｌｄ＿ｖａｌ＝ＯＴ＿ａｋｔ＿ｖａｌ
Ｓ＿ｏｌｄ＿ｂａｓｅ＝Ｓ＿ａｋｔ
Ｓ＿ｏｌｄ＿ｖａｌ＝Ｓ＿ａｋｔ
ｄ＿ｏｌｄ＿ｂａｓｅ＝ｄ＿ａｋｔ
ｄ＿ｏｌｄ＿ｖａｌ＝ｄ＿ａｋｔ

【0053】

データ依拠モデルについて、現在の物体タイプが変数ＯＴ＿ｏｌｄ＿ｖａｌに、現在のシーケンスが変数Ｓ＿ｏｌｄ＿ｖａｌに、さらに現在の距離が変数ｄ＿ｏｌｄ＿ｖａｌに記憶される。

【0054】

基準モデルについて、現在の物体タイプが変数ＯＴ＿ｏｌｄ＿ｂａｓｅに、現在のシーケンスが変数Ｓ＿ｏｌｄ＿ｂａｓｅに、さらに現在の距離が変数ｄ＿ｏｌｄ＿ｂａｓｅに記憶される。

【0055】

次いで、ステップ３１２が実施される。

【0056】

ステップ３１２において、センサのセンサデータが記録される。これにより、この関数は新たなセンサデータを受け取る。センサデータを用いてスペクトルが求められる。この実施例においては、スペクトルを含む１つのフレームが求められる。

【0057】

ステップ３１４において、スペクトルの現在のセグメントが求められる。セグメントは、この実施例においては、物体を含むスペクトルからの抜粋である。現在のセグメントは、変数Ｓ＿ａｋｔに記憶される。この実施例においては、変数Ｓ＿ａｋｔに現在のセグメントを含むフレームが記憶される。

【0058】

ステップ３１４において、現在の距離が推定される。この距離は、この実施例においては、センサから物体までの距離である。現在の距離は、変数ｄ＿ａｋｔに記憶される。

【0059】

次いで、ステップ３１６が実施される。

【0060】

ステップ３１６において、現在のセグメントＳ＿ａｋｔが基準モデルにより分類される。基準モデルの分類結果は、現在の物体タイプ用の変数ＯＴ＿ａｋｔ＿ｂａｓｅに記憶される。

【0061】

次いで、ステップ３１８が実施される。

【0062】

ステップ３１８において、基準モデルについて、現在の物体タイプと一時記憶されている物体タイプとが一致しているか否かがチェックされる。この実施例においては、物体タイプＯＴ＿ａｋｔ＿ｂａｓｅ！＝物体タイプＯＴ＿ｏｌｄ＿ｂａｓｅであるかがチェックされる。

【0063】

これらの物体タイプが一致していない場合には、ステップ３２０が実施される。そうでない場合には、ステップ３２２が実施される。

【0064】

これらの物体タイプの比較により、物体タイプの入れ替わりを認識することができる。

【0065】

ステップ３２０において、即ち、入れ替わりが発生している場合には、一時記憶されているデータが関連データとして記憶される。この実施例においては、変数は以下のように対応づけられて一時記憶される。
ＯＴ＿ｒｅｌ＿ｂａｓｅ＝ＯＴ＿ｏｌｄ＿ｂａｓｅ
Ｓ＿ｒｅｌ＿ｂａｓｅ＝Ｓ＿ｏｌｄ＿ｂａｓｅ
ｄ＿ｒｅｌ＿ｂａｓｅ＝ｄ＿ｏｌｄ＿ｂａｓｅ

【0066】

これらの物体タイプが等しい場合には、事前に一時記憶された関連データが引き続き保持される。関連データは、好ましくはメインメモリに、例えば揮発性メモリに、記憶される。

【0067】

ステップ３２２において、現在のセグメントＳ＿ａｋｔがデータ依拠モデル２０６によって分類される。

【0068】

妥当性検査対象であるデータ依拠モデルの分類結果は、現在の物体タイプ用の変数ＯＴ＿ａｋｔ＿ｖａｌに記憶される。

【0069】

次いで、ステップ３２４が実施される。

【0070】

ステップ３２４において、妥当性検査対象であるデータ依拠モデルについて、現在の物体タイプと一時記憶されている物体タイプとが一致しているか否かがチェックされる。この実施例においては、物体タイプＯＴ＿ａｋｔ＿ｖａｌ！＝物体タイプＯＴ＿ｏｌｄ＿ｖａｌであるかがチェックされる。

【0071】

これらの物体タイプが一致していない場合には、ステップ３２６が実施される。そうでない場合には、ステップ３２８が実施される。

【0072】

これらの物体タイプの比較により、物体タイプの入れ替わりを認識することができる。

【0073】

ステップ３２６において、即ち、入れ替わりが発生している場合には、一時記憶されているデータが関連データとして記憶される。この実施例においては、変数は以下のように対応づけられて記憶される。
ＯＴ＿ｒｅｌ＿ｖａｌ＝ＯＴ＿ｏｌｄ＿ｖａｌ
Ｓ＿ｒｅｌ＿ｖａｌ＝Ｓ＿ｏｌｄ＿ｖａｌ
ｄ＿ｒｅｌ＿ｖａｌ＝ｄ＿ｏｌｄ＿ｖａｌ

【0074】

これらの物体タイプが等しい場合には、事前に記憶された関連データが引き続き保持される。

【0075】

ステップ３２８において、物体までの現在の距離と閾値との比較が実行される。例えば、ｄ＿ａｋｔ＜ＳＨＯＲＴＤＩＳＴであるか否かがチェックされ、ここで、ＳＨＯＲＴＤＩＳＴは、格納されている定数である。定数ＳＨＯＲＴＤＩＳＴは、この実施例においては、３ｍ乃至３０ｍの距離を表す値である。この実施例においては、物体が近距離に存在しているのかがチェックされる。近距離の場合、基準モデルによる物体認識、即ち、確立されたアルゴリズムによる物体認識は、信頼性があるとみなされる。この近距離に到達していない場合には、メインループがステップ３１０からスタートして新たに実行される。

【0076】

ここで想定されることは、ステップ３２８においてさらに、関連データの更新を最後に実行して以降、予め定められた時間が経過しているのかをチェックする、というように構成することである。この時間が経過していない場合には、この実施例においては、近距離に到達しているのか否かに関係なく、メインループがステップ３１０からスタートして新たに実行される。

【0077】

例えば、ステップ３２８において、現在の時間が求められ、現在の時間と更新が行われた最後の時間との差が求められる。現在の時間は、例えば関数ｔｉｍｅ＿ｎｏｗ（）によって求められる。更新が行われた最後の時点は、例えば変数ｌａｓｔＵｐｄａｔｅに記憶される。この変数は、例えば、１回目の反復においてゼロで初期化される。

【0078】

この実施例においては、近距離に到達しておりかつ上記の差が閾値よりも大きい場合には、ステップ３３０が実施される。閾値は、例えば定数ＲＥＴＲＩＧＧＥＲである。定数ＲＥＴＲＩＧＧＥＲは、１０ｍｓ乃至１ｓの範囲にある時間とすることができる。この実施例においては、これ以外の場合にはステップ３１０が実施される。

【0079】

ステップ３３０において、更新が行われた最後の時点が、現在の時点の値にセットされる。この実施例においては、ｌａｓｔＵｐｄａｔｅ＝ｔｉｍｅ＿ｎｏｗ（）がセットされる。

【0080】

近距離に到達しており、従って、実際の物体タイプが識別された場合には、妥当性検査対象であるアルゴリズムの関連データを記憶し、及び／又は、エントリを妥当性検査配列に挿入するように構成することができる。

【0081】

妥当性検査すべきアルゴリズムの関連データを記憶する例示的なプロシージャを、以下においては、コーナーケース検出と称する。

【0082】

エントリを妥当性検査配列に挿入する例示的なプロシージャを、以下においては、妥当性検査と称する。

【0083】

両方のプロシージャは、この実施例においては、パラレルに実行され、これらについて、以下において詳細に説明する。ステップ３３０の後、この実施例においては、コーナーケース検出をスタートさせるためのステップ３３２と、妥当性検査をスタートさせるためのステップ３３６とが実施される。

【0084】

コーナーケース検出
基本的に前提とすることは、Ｓ＿ｒｅｌ＿ｖａｌに記憶されているセグメントが関連している、ということである。その際に前提とすることは、妥当性検査対象であるアルゴリズムも同様に、距離が短くなればより高い分類品質を有する、ということである。ただし、近距離、この実施例においてはｄ＿ａｋｔ＜ＳＨＯＲＴＤＩＳＴに到達したときに、アルゴリズムが既に信頼性のある分類を提供しているということは、必須の前提条件ではない。

【0085】

ステップ３３２において、基準モデルにより認識された物体タイプが、妥当性検査対象であるデータ依拠モデル２０６についての関連データからの物体タイプと一致しているか否かがチェックされる。例えば、ＯＴ＿ｒｅｌ＿ｖａｌ！＝ＯＴ＿ａｋｔ＿ｂａｓｅであるかがチェックされる。両方の物体タイプが一致している場合には、メインループがステップ３１０からスタートして実行される。そうでない場合には、ステップ３３４が実施される。これによって保証されることは、妥当性検査対象であるデータ依拠モデル２０６が、既に先行の反復において正しい物体タイプを分類していたにもかかわらず、その後、誤った物体タイプに入れ替わったセグメントは記憶されない、ということである。

【0086】

ステップ３３４において、関連データが記憶される。好ましくは、ステップ３３４において固定記憶メモリに関連データが記憶される。

【0087】

物体タイプがそれぞれ異なっている場合には、関連セグメントが識別されて、対応する関連データが後で用いるために記憶される。

【0088】

ステップ３３４の後、この実施例においては、メインループがステップ３１０からスタートして実施される。

【0089】

ここで想定されることは、図３には示されていないパラレルなタスクにおいて、十分な量の関連データが存在していれば直ちに、固定記憶メモリに記憶されているデータがコンピュータインフラストラクチャに伝送される、というように構成することである。

【0090】

固定記憶メモリからコンピュータインフラストラクチャに新たなデータが到来した場合には、トレーニングプロセスを開始させることができる。

【0091】

トレーニングプロセスにおいて、この実施例においては、新たなデータ依拠モデル２０６が求められる。ここで想定されることは、このモデルがコンパイルされて新たなファームウェアが生成され、例えばファームウェア・オーバー・ディ・エアを介してセンサに供給される、というように構成することである。さらに、ここで想定されることは、新たなファームウェアをセンサにおいて更新し、変数を新たに初期化して、この方法を新たにスタートさせる、というように構成することである。

【0092】

妥当性検査
この実施例においては、妥当性検査によって、データ依拠モデル２０６がこのモデルの使用目的に適しているか否かについて確認される。妥当性検査において特別な役割を果たすのは、妥当性検査されるデータ依拠モデル２０６が適正な結果を分類することができなかった状況である。

【0093】

ステップ３３６において、この状況が生じているのか否かがチェックされる。この実施例においては、ＯＴ＿ａｋｔ＿ｖａｌ！＝ＯＴ＿ａｋｔ＿ｂａｓｅであるかがチェックされる。この状況が生じている場合には、ステップ３３８が実施される。そうでない場合には、ステップ３４０が実施される。

【0094】

ステップ３３８において、この実施例においては、ＯＴＣ＿ｖａｌのｃｃｃ値が０にセットされる。なぜならば、ｄ＿ｒｅｌ＿ｖａｌは、このケースにおいては、物体タイプの直前の入れ替えに属するものではあるが、要するに適正な物体タイプではないからである。次いで、ステップ３４０が実施される。

【0095】

物体認識アルゴリズムの品質に関する基本的なメトリックは距離であり、この距離からは物体を一貫して適正に分類することができたという距離である。これを継続的適正分類ｃｏｎｔｉｎｕｏｕｓ ｃｏｒｒｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｃｃｃと称する。ｃｃｃ値は、この実施例においては、関数ｃｃｃ（）によって求められる。基準モデルについて、ｃｃｃ値は、関数ｃｃｃ（ＯＴＣ＿ｂａｓｅ）によって求められる。妥当性検査対象であるデータ依拠モデル２０６について、ｃｃｃ値は、関数ｃｃｃ（ＯＴＣ＿ｖａｌ）によって求められる。基準モデルは、この実施例においては、証明可能であるために十分な分類品質を有する。この実施例においては、妥当性検査対象であるデータ依拠モデル２０６について適用されることは、このモデルがすべての関連状況で距離閾値ＤＩＳＴ＿ＲＥＬよりも下方において、基準モデルと少なくとも正確に同等の高さのｃｃｃ値を有することを示す、ということである。

【0096】

この証明をもたらすことができるように、基準モデルのｃｃｃ値と、基準モデルのｃｃｃ値と妥当性検査対象であるデータ依拠モデル２０６のｃｃｃ値との差Δｃｃｃが、二次元配列に記憶される。この配列は、図４に示されているように視覚化することができる。

【0097】

ｘ軸上には、差Δｃｃｃがメートル単位で示されている。図４には、－２００メートル乃至＋２００メートルの範囲が示されている。ｘ軸には、多数の範囲が定義されている。１つの範囲は、ｘ方向に占有域４０２を有しており、これを以下においては、ＢＩＮ＿ＳＩＺＥと称する。

【0098】

ｙ軸上には、基準モデルのｃｃｃ値がメートル単位で示されている。図４には、０メートル乃至２００メートルの範囲が示されている。この実施例においては、例えば１５０メートル以下の距離ＤＩＳＴ＿ＲＥＬにおける境界４０４において、近傍領域に到達する。

【0099】

配列を効率的に記憶することができるようにするために、ｃｃｃ値が個々のＢＩＮに割り当てられる。各ＢＩＮは、ＢＩＮ＿ＳＩＺＥの大きさを有する。従って、配列は、例えば、（２００＊２／ＢＩＮ＿ＳＩＺＥ）×（２００／ＢＩＮ＿ＳＩＺＥ）の大きさであり、ｃｃｃ（ＯＴＣ＿ｂａｓｅ）、ｃｃｃ（ＯＴＣ＿ｖａｌ）に対するエントリによって、この配列の以下の（ｘ，ｙ）ポジションにおいて、配列のインクリメントが生じる。

【数1】

【0100】

妥当性検査対象であるデータ依拠モデル２０６は、距離４０４よりも短い距離である場合には、確立された基準モデルの分類品質を少なくとも有していなければならないので、０＜ｘ＜２００かつ０＜ｙ＜ＤＩＳＴ＿ＲＥＬの範囲内におけるすべてのエントリは、閾値よりも小さいことが望ましく、好ましくは０であることが望ましい。これは、図４の右下の範囲である。この領域のエントリが意味することは、ｃｃｃ（ＯＴＣ＿ｂａｓｅ）とｃｃｃ（ＯＴＣ＿ｖａｌ）との差が正であり、従って、妥当性検査対象であるデータ依拠モデル２０６は比較的悪いｃｃｃ値を有する、ということである。ｃｃｃ（ＯＴＣ＿ｂａｓｅ）とｃｃｃ（ＯＴＣ＿ｖａｌ）とは、１つの値ペアを成している。この値ペアは、以下の距離を表す第１の値ｃｃｃ（ＯＴＣ＿ｂａｓｅ）を含み、即ち、この距離以内では物体に対する基準分類が適正である。この値ペアは、以下の距離を表す第２の値ｃｃｃ（ＯＴＣ＿ｖａｌ）を含み、即ち、この距離以内では物体に対するデータ依拠モデル２０６の分類が適正である。差ｃｃｃ（ＯＴＣ＿ｂａｓｅ）－ｃｃｃ（ＯＴＣ＿ｖａｌ）は、この距離と基準距離との間隔を表す。

【0101】

これに対し、－２００＜ｘ≦０かつ０＜ｙ＜ＤＩＳＴ＿ＲＥＬにあるエントリは、高い値をとることが望ましい。これは、図４の左下の範囲である。この範囲におけるエントリが意味することは、妥当性検査対象であるデータ依拠モデル２０６は、確立された基準モデルよりも高いｃｃｃ値を有する、ということである。

【0102】

ＤＩＳＴ＿ＲＥＬ以上の距離については、妥当性検査対象であるデータ依拠モデル２０６の比較的高い分類品質が同様に望ましく、ただし、これは、必ずしもそうでなくてもよい。

【0103】

ステップ３４０において、関連データについてそれぞれ以下の大きさが求められる。
ｂｉｎ＿ｂａｓｅ＝ｆｌｏｏｒ（ｄ＿ｒｅｌ＿ｂａｓｅ／ＢＩＮ＿ＳＩＺＥ）
ｄｅｌｔａ＝ｄ＿ｒｅｌ＿ｂａｓｅ－ｄ＿ｒｅｌ＿ｖａｌ
ｂｉｎ＿ｖａｌ＝ｆｌｏｏｒ（ｄｅｌｔａ／ＢＩＮ＿ＳＩＺＥ）

【0104】

次いで、ステップ３４２が実施される。

【0105】

ステップ３４２において配列が更新される。例えば、関数ｃｃｃ＿ｍａｔｒｉｘ（ｂｉｎ＿ｂａｓ，ｂｉｎ＿ｖａｌ）＋＋が実行される。この関数によって、ｂｉｎ＿ｂａｓとｂｉｎ＿ｖａｌとにより定義されている箇所において、配列内のエントリが１だけインクリメントされる。これにより、このメモリロケーションに記憶されている値が値ペアの値に依存して変更される。

【0106】

しかも、この実施例においては、配列へのエントリ数がカウントされる。この実施例においては、変数ｅｎｔｒｉｅｓが１だけインクリメントされ、即ち、ｅｎｔｒｉｅｓ＋＋である。

【0107】

次いで、ステップ３４４が実施される。

【0108】

ステップ３４４において、配列へのエントリ数が閾値を超えているかがチェックされる。この実施例においては、変数ｅｎｔｒｉｅｓ＞ＭＡＸ＿ＥＮＴＲＩＥＳであるかがチェックされる。エントリ数が閾値を超えている場合には、ステップ３４６が実施される。そうでない場合には、妥当性検査が終了する。

【0109】

ステップ３４６において、ＭＡＸ＿ＥＮＴＲＩＥＳを上回ったときにこのようにして生成された配列が、コンピュータインフラストラクチャに伝送される。

【0110】

この配列はｃｃｃ値の効率的な表現である。ここで想定されることは、データ依拠モデル２０６がこの配列によって妥当性検査される、というように構成することである。

【0111】

次いで、妥当性検査が終了する。

【0112】

ここで想定されることは、データ依拠モデル２０６の妥当性検査に失敗した場合には、データ依拠モデル２０６が新たにトレーニングされ、他のデータによってトレーニングされ、及び／又は、他のデータ依拠モデルが用いられる、というように構成することである。

【0113】

ここで想定されることは、データ依拠モデル２０６の妥当性検査に成功した場合には、物体分類システムにおいて、特に運転者支援システムにおいて、データ依拠モデル２０６が用いられる、というように構成することである。

【0114】

ここで想定されることは、この方法が複数の車両によって実施される、というように構成することである。さらに、ここで想定されることは、データ依拠モデル２０６がそれらの車両の配列によって妥当性検査される、というように構成することである。

【0115】

これらの配列は、例えば、データ依拠モデル２０６の統計的妥当性検査のために利用される。

【0116】

図５には、物体に向かって接近していく例示的な走行が概略的に示されている。ｘ軸によって、物体までの距離が負の値で示されている。ｙ軸上には物体タイプが書き込まれている。この実施例においては、任意に選択された物体タイプクラス３の物体を対象としている。

【0117】

確立された基準モデルによって予測された物体タイプは、それぞれ異なる距離について三角形として描かれている。妥当性検査対象であるデータ依拠モデル２０６によって予測された物体タイプは、それぞれ異なる距離について円として描かれている。

【0118】

この実施例においては、基準モデルは、８ｍの距離から物体を継続的に適正に分類している。妥当性検査対象であるデータ依拠モデル２０６は、既に１０ｍから物体を継続的に適正に分類している。

【0119】

この実施例においては、近傍領域に到達したときに、例えば８メートルの距離のときに、適正な物体タイプが識別され、１１ｍの距離のときに、妥当性検査対象であるデータ依拠モデルによって、最後の誤った分類が伝送される。この実施例においては、ｃｃｃ（ＯＴＣ＿ｂａｓｅ）＝８であり、ｃｃｃ（ＯＴＣ＿ｖａｌ）＝１０である。即ち、この結果として、（８、－２）において妥当性検査配列のインクリメントが行われる。

【0120】

妥当性検査対象であるデータ依拠モデル２０６が誤った物体タイプを分類したときのデータを識別するように、構成することができる。これらのデータは、例えば、確立された基準モデルが異なるように分類したデータである。これらのデータは、データ依拠モデル２０６、例えば、分類用のニューラルネットワークをトレーニングするために特に重要であり、その理由は、これらのデータは、その都度、現在の状態における物体認識の弱点を明らかにしているからである。

【0121】

距離ｄ＿ａｋｔと閾値ＳＨＯＲＴＤＩＳＴとを用いて、妥当性検査対象であるデータ依拠モデル２０６が物体を適正に分類したことを判定する代わりに、付加的に又は選択的に、基準モデルによる物体認識の信頼基準を用いることができる。この信頼基準は、例えば基準モデルによって提供され、例えば基準モデルによる安定した分類の持続時間に基づくものとすることができる。

【0122】

同様に、ここで想定されることは、物体までの距離が遠くなっていくときに、基準モデルと妥当性検査対象であるデータ依拠モデル２０６とについて、ｃｃｃ間隔を求めるように構成することである。継続的に適正な分類が可能であった領域内に存在していた物体が、次いでこの領域から出て移動したときに、例えば、それ以上ではｃｃｃがもはや不可能であるｃｃｃ間隔が求められる。これについては、上述のような手順により進行される。この場合にも、コーナーケース検出を実施することができる。

【0123】

確立された基準モデルの確実な分類結果に対する基準として、分類された物体までの間隔を利用する代わりに、他の信頼基準を用いることもできる。例えば、閾値、例えばｔ＿ｓｔａｂｌｅよりも長い所定の期間にわたり、安定した即ち変化しない分類結果が生じていた場合には、確立された基準モデルの分類結果を確実であるとみなすことができる。従って、物体までの距離とは無関係に、密な間隔で接近しない後続走行も妥当性検査のために利用することができる。

【0124】

例示的な物体分類は、スペクトルのセグメントに基づくものである。物体分類は、スペクトルのセグメントに基づく代わりに、他の入力量に基づくものとしてもよい。例えば、このアプローチは、スペクトルのセグメントに基づく物体分類の代わりとなる又はそれを補うロケーションに基づく物体認識アルゴリズムにおいても、使用することができる。このケースにおいては、対応するデータ即ちポジションが、スペクトルの代わりに関連データとして記憶される。

【0125】

これまで述べてきた実施例においては、コーナーケース検出において、物体タイプが、例えばＯＴ＿ｒｅｌ＿ｖａｌとＯＴ＿ａｋｔ＿ｂａｓｅとが、異なっているかがチェックされ、これによって、適正な分類をもたらしたデータが固定記憶メモリ内に記憶されないことが保証される。その代わりに想定されることは、認識された物体タイプが、例えばＯＴ＿ａｋｔ＿ｂａｓｅとＯＴ＿ａｋｔ＿ｖａｌとが、等しくないときに、以前に基準モデルにより認識された物体タイプ、例えばＯＴ＿ｒｅｌ＿ｖａｌではなく、現在基準モデルにより認識されている物体タイプ、例えばＯＴ＿ａｋｔ＿ｖａｌが、固定記憶メモリに記憶される、というように構成することである。このことは、データ依拠モデル２０６が、このケースにおいては、現在のセグメントについても誤った分類結果をもたらすことから、有利である。

【0126】

ここで想定されることは、既述のデータに加えてデータ検出の個々のＧＰＳポジションが記憶される、というように構成することである。これを車両からバスシステムを介して提供することができる。ＧＰＳポジションを用いることにより、データ依拠モデル２０６を地域固有にトレーニング可能なデータが提供される。

【0127】

物体タイプの比較は、例えば自動緊急ブレーキ又は自動緊急回避の介入などのような、他の機能によって置き換えることができる。このことは、それぞれ認識された物体タイプへの機能のリアクションが用いられる、ということを意味する。

【図1】

【図2】

【図3-1】

【図3-2】

【図4】

【図5】

【外国語明細書】