IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 伊福部 達の特許一覧 ▶ 藪 謙一郎の特許一覧

<>
  • 特許-物質識別装置 図1
  • 特許-物質識別装置 図2
  • 特許-物質識別装置 図3
  • 特許-物質識別装置 図4
  • 特許-物質識別装置 図5
  • 特許-物質識別装置 図6
  • 特許-物質識別装置 図7
  • 特許-物質識別装置 図8
  • 特許-物質識別装置 図9
  • 特許-物質識別装置 図10
  • 特許-物質識別装置 図11
  • 特許-物質識別装置 図12
  • 特許-物質識別装置 図13
  • 特許-物質識別装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】物質識別装置
(51)【国際特許分類】
   G01N 29/46 20060101AFI20241107BHJP
   G01S 15/42 20060101ALI20241107BHJP
   G01N 29/12 20060101ALI20241107BHJP
【FI】
G01N29/46
G01S15/42
G01N29/12
【請求項の数】 11
(21)【出願番号】P 2020025739
(22)【出願日】2020-02-18
(65)【公開番号】P2021131272
(43)【公開日】2021-09-09
【審査請求日】2023-02-13
【新規性喪失の例外の表示】特許法第30条第2項適用 (1)2019年2月19日に、日本音響学会 2019年春季研究発表会 講演論文集(講演要旨・講演論文CD-ROM)、第1419-1420頁、発表番号2-2-5、にて発表 (2)2019年2月19日に、日本音響学会 2019年春季研究発表会 講演論文集(講演要旨・講演論文CD-ROM)、第715-716頁、発表番号2-3-6、にて発表 (3)2019年6月18日に、ウェブサイトのアドレス https://blog.bitis.co.jp/column-blog2-0、にて発表 (4)2019年10月1日に、日本工業出版発行の超音波テクノ,2019年,9・10月号、第9~14頁、にて発表
(73)【特許権者】
【識別番号】524339934
【氏名又は名称】伊福部 達
(73)【特許権者】
【識別番号】524341281
【氏名又は名称】藪 謙一郎
(74)【代理人】
【識別番号】100205350
【弁理士】
【氏名又は名称】狩野 芳正
(72)【発明者】
【氏名】伊福部 達
(72)【発明者】
【氏名】藪 謙一郎
【審査官】横尾 雅一
(56)【参考文献】
【文献】特開2008-058059(JP,A)
【文献】特開2009-276118(JP,A)
【文献】特表2000-509493(JP,A)
【文献】特開2008-292168(JP,A)
【文献】特開昭63-234107(JP,A)
【文献】米国特許出願公開第2017/0248696(US,A1)
【文献】特開2009-288045(JP,A)
【文献】佐々木忠之、外2名,コウモリの反響定位をモデルとする環境認識方式,コンピュータビジョン,1987年10月01日,50-3,第1頁-第6頁
(58)【調査した分野】(Int.Cl.,DB名)
G01N 29/00 - G01N 29/52
G01S 1/72 - G01S 1/82
G01S 15/00 - G01S 15/96
G01V 1/00 - G01V 99/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
超音波の送信波を発生する超音波発信器と、
前記超音波発信器からの超音波に対する反射波を検出する超音波受信器と、
前記反射波の波形を分析し処理する処理装置とを備え、
前記超音波発信器は、周波数が所定の規則で変化する前記送信波を周期的に発生し、
前記処理装置は、前記反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定し、
前記処理装置は、前記送信波の時間幅の2倍以下の時間幅の1つの短時間スペクトルを取得し、あるいは、前記送信波の時間幅よりも狭い時間幅の短時間スペクトルを所定の時間差で複数収集し、複数の前記短時間スペクトルに共通する特徴を抽出する、
物質識別装置。
【請求項2】
前記処理装置は、前記共通する特徴に対応する前記物質識別指標及びサイズによって特徴づけられた物体の空間配置パターンの経時的変化を把握する、請求項1に記載の物質識別装置。
【請求項3】
前記物質識別指標は、対象の硬さの他に、緻密さ、及び厚みの少なくとも1つ以上を反映した情報である、請求項1及び2のいずれか一項に記載の物質識別装置。
【請求項4】
前記処理装置は、前記反射波の波形パターンに関して、対象に対して得た対象波形パターンを既知の複数種の物質に対して得た複数の基準波形パターンと比較し、近似性の高さから、対象の前記物質識別指標として物質種を特定する、請求項1~3のいずれか一項に記載の物質識別装置。
【請求項5】
前記処理装置は、前記反射波の波形パターンとして前記反射波の周波数スペクトルを比較する、請求項4に記載の物質識別装置。
【請求項6】
前記処理装置は、前記物質識別指標に対応する対象までの距離と方位とを検出する、請求項1~5のいずれか一項に記載の物質識別装置。
【請求項7】
前記処理装置は、方位が重なりつつも距離が異なる複数の対象の少なくとも1つについて前記物質識別指標を検出する、請求項6に記載の物質識別装置。
【請求項8】
前記処理装置は、超音波を透過する対象とその背後の対象とについて、前記物質識別指標をそれぞれ検出する、請求項7に記載の物質識別装置。
【請求項9】
前記超音波受信器は、前記超音波発信器から離間して複数配置され、
前記処理装置は、複数の前記超音波受信器によって検出した複数の前記反射波について前記送信波との相関性の高いものを抽出する、請求項6~8のいずれか一項に記載の物質識別装置。
【請求項10】
前記処理装置は、前記物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する、請求項6~9のいずれか一項に記載の物質識別装置。
【請求項11】
前記処理装置は、前記空間配置パターンの移動を追跡する、請求項10に記載の物質識別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物を構成する物質に関する情報を取得することができる物質識別装置に関し、特に対象の硬さの程度を特定する物質識別装置に関する。
【背景技術】
【0002】
超音波送信器から定位超音波パルスを発射し、障害物からの反射を2チャンネルの超音波受信器で受ける頭部装着型の装置であって、定位超音波パルスとして降下FM超音波等を用いるとともに、反射音を時間的に50倍に引き延ばして可聴音として聞き取れるようにした装置を用い、コウモリに模してヒトの反響定位に関する認識特性を調べる研究がなされている(非特許文献1)。
【0003】
指向性のある超音波送受信器を用いて、物体からの反射音から反射係数の周波数特性を求め、このような特性が合板や石膏ボード壁とで変わることを示した研究もある(非特許文献2)。しかしながら、物体によって反射音の反射係数が変わるとしても、反射音から対象の材質を判定する手法についてまでは記載がない。また、超音波の指向性を前提としていることから、指向性のない超音波送信器を用いた測定を含めた反射音の反射係数の特性や傾向については何ら開示されていない。
【0004】
最近では、カメラやレーザレーダを使って物体認識を行い、前方の物体の距離や位置を検知する技術も多数存在する(例えば特許文献1)。しかしながら、カメラやレーザレーダのように可視光等を用いる物体識別装置では、物体の材質を識別することができず、識別した物体の実体や材質を把握することが容易でない場合が生じ得る。また、可視光等を用いる物体認識装置については、個人情報の漏洩に配慮する用途では、画像の取り扱いに注意を要し、使用が望ましくない場合も生じ得る。
【先行技術文献】
【非特許文献】
【0005】
【文献】佐々木忠之、伊福部達「コウモリの反響定位をモデルとする障害物認識方式」(1987年1月30日)、騒音研究会資料番号H87-01-7、聴覚研究会資料番号H-87-7
【文献】原囿正博、野郷孝介「実環境における平面パネルの超音波反射係数の測定」日本音響学会誌、72(9), 544550 (2016)
【特許文献】
【0006】
【文献】特開2007-187618号公報
【発明の概要】
【0007】
本発明は、上記背景技術に鑑みてなされたものであり、超音波を用いて対象物を構成する物質に関する情報を取得できる物質識別装置を提供することを目的とする。
【0008】
上記目的を達成するため、本発明に係る物質識別装置は、超音波の送信波を発生する超音波発信器と、超音波発信器からの超音波に対する反射波を検出する超音波受信器と、反射波の波形を分析し処理する処理装置とを備え、超音波発信器は、周波数が所定の規則で変化する送信波を発生し、処理装置は、反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定する。
【0009】
上記物質識別装置では、超音波発信器が周波数が所定の規則で変化する送信波を発生するので、超音波受信器によって検出される反射波は、反射波を形成した対象を構成する物質に関する情報(例えば対象の硬さに関する情報)を多様な周波数に対する応答として含むものとなっている。処理装置は、反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定するが、このような物質識別指標は、対象を構成する物質の硬さ等に関する情報であり、対象の物質を特定する参考となる。
【0010】
本発明の具体的な側面によれば、上記物質識別装置において、物質識別指標は、対象の硬さ、緻密さ、及び厚みの少なくとも1つ以上を反映した情報である。この場合、物質識別指標は、対象の硬度のような硬さだけでなく、緻密さや厚みに関する情報を含んだものとなり、物質識別指標を利用した対象の状態特定が正確なものとなる。
【0011】
本発明のさらに別の側面によれば、処理装置は、反射波の波形パターンに関して、対象に対して得た対象波形パターンを既知の複数種の物質に対して得た複数の基準波形パターンと比較し、近似性の高さから、対象の物質識別指標として物質種を特定する。この場合、反射波を形成した対象が既知の複数種の物質のいずれであるかの判定が可能になる。
【0012】
本発明のさらに別の側面によれば、処理装置は、反射波の波形パターンとして反射波の周波数スペクトルを比較する。この場合、多様な周波数に対する応答としての反射波を周波数分布パターンの観点で分類することができ、物質識別指標の信頼性を物質を特定する観点で高めることができる。
【0013】
本発明のさらに別の側面によれば、処理装置は、送信波の時間幅の2倍以下の時間幅の1つの短時間スペクトルを取得し、あるいは、送信波の時間幅よりも狭い時間幅の短時間スペクトルを所定の時間差で複数収集し、複数の短時間スペクトルに共通する特徴を抽出する。この場合、短時間スペクトルに着目することで特徴抽出や分類が容易になり、判定処理の簡便化を図ることができる。
【0014】
本発明のさらに別の側面によれば、処理装置は、物質識別指標に対応する対象までの距離と方位とを検出する。この場合、反射波の方位を特定する何らかの手法を用いることが前提となっている。物質識別指標を決定した対象について距離と方位とを確認することで、硬さ等に関する情報を付帯させた物体の配置に関する情報が得られる。
【0015】
本発明のさらに別の側面によれば、処理装置は、方位が重なりつつも距離が異なる複数の対象の少なくとも1つについて物質識別指標を検出する。例えば背後の物体を覆う対象について、その硬さの程度に関する情報が得られ、あるいは、前方の物体によって覆われた対象について、その硬さの程度に関する情報が得られる。
【0016】
本発明のさらに別の側面によれば、処理装置は、超音波を透過する対象とその背後の対象とについて、物質識別指標をそれぞれ検出する。
【0017】
本発明のさらに別の側面によれば、超音波受信器は、超音波発信器から離間して複数配置され、処理装置は、複数の超音波受信器によって検出した複数の反射波について送信波との相関性の高いものを抽出する。この場合、反射波からノイズを低減することができ、物質識別指標の決定に関する信頼性を高めることができる。
【0018】
本発明のさらに別の側面によれば、処理装置は、物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する。この場合、着目する空間内における物質の配置状態を空間配置パターンとして把握することができる。
【0019】
本発明のさらに別の側面によれば、処理装置は、空間配置パターンの経時的変化を追跡する。この場合、着目する対象の移動や静止といった状態変化や動的現象を把握することができ、事故、要支援状況、犯罪発生といった各種特殊事象の監視に応用することができる。
【図面の簡単な説明】
【0020】
図1】本発明の物質識別装置の構成を説明するブロック図である。
図2】物質識別装置の設置例を説明する概念図である。
図3】音波発信器及び超音波受信器の配置例を説明する斜視図である。
図4】(A)及び(B)は、音波発信器から発射する送信波を例示する図である。
図5】(A)は、超音波受信器で受ける反射波を例示し、(B)は、反射波に対して送信波との相互相関をとった波形を示す。(C)は、(A)等に示す反射波を得た際の対象の具体的配置を示している。
図6】(A)~(C)は、相関関数値の計算方法を説明する概念図である。
図7】時間スペクトルパターンの計算方法を説明する概念図である。
図8】(A)~(D)は、様々なサンプルに対して送信波を当て反射波を検出する実験を行って得た時間スペクトルパターンを示す。
図9】(A)は、別の実験を行って得た時間スペクトルパターンを示し、(B)は、鉄の場合との差分をとったパターンである。
図10図9(A)に示す実験における超音波送受信ユニットやサンプルの配置状態を説明する図である。
図11】(A)~(C)は、緻密性の低いウレタンフォームで時間スペクトルパターンを測定した結果を示すチャートである。
図12】(A)及び(B)は、検超音波送受信装置の透視性について行った実験を説明する図である。
図13】物質識別装置の動作の概要を説明するフローチャートである。
図14】物質検出動作の詳細を説明するフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明の一実施形態である物質識別装置について説明する。
【0022】
図1は、実施形態の物質識別装置を示すブロック図である。物質識別装置100は、超音波の送信及び受信を行う検超音波送受信装置20と、検超音波送受信装置20を動作させ送信波SWに対する応答である反射波RWの波形を分析し処理する処理装置80とを備える。
【0023】
検超音波送受信装置20は、超音波発信器31と、第1、第2、第3、及び第4超音波受信器41,42,43,44と、アンプ装置50と、マイコン60とを有する。超音波受信器41~44は、詳細は後述するが、超音波発信器31から所定方向に離間して配置されている。超音波発信器31と超音波受信器41~44とは、支持体27に一体的に固定されており、超音波送受信ユニット28を構成している。
【0024】
図2に示すように、検超音波送受信装置20は、超音波送受信ユニット28が露出するようにケース20aに収められ、マウント装置その他の固定具20bを介して監視対象に向けて設置される。図示の場合、検超音波送受信装置20は、室内IDの天井側に固定され、室内IDに存在するヒトOB1、家具その他の非生物的な物体OB2等を超音波によって解析しつつ観察できるように配置される。図示の場合、室内IDに単一の検超音波送受信装置20が設置されているが、例えば動作タイミングや超音波特性が異なる複数の検超音波送受信装置20を設置することもできる。また、固定具20bによって検超音波送受信装置20の向きや配置を変化させることもできる。検超音波送受信装置20は、図示のような室内IDに限らず、屋外に設置できることはいうまでもない。
【0025】
図1に戻って、超音波発信器31は、指向性の広い超音波スピーカである。超音波発信器31は、ボイスコイルとピエゾ素子とを組み合わせたものであり、電気信号から超音波への変換を行う。超音波発信器31は、例えば20Hz~100kHzの音波を発生することができるが、本実施形態では25kHz~100kHz程度の範囲を使用して超音発信を行う。
【0026】
第1超音波受信器41は、指向性の広い超音波マイクである。第1超音波受信器41は、MEMS技術を用いたマイクロフォンであり、超音波から電気信号への変換を行う。第1超音波受信器41は、旧来のコンデンサ型のマイクであってもよく、ピエゾ素子を用いたものであってもよい。第2~4超音波受信器42~44は、第1超音波受信器41と同様の構造を有する。第1~第4超音波受信器41~44は、例えば20Hz~100kHzの音波を検出することができるが、本実施形態では25kHz~70kHz程度の範囲を使用して超音波検出を行う。
【0027】
図3を参照して、超音波発信器31と第1~第4超音波受信器41~44との配置関係について説明する。超音波発信器31の前面の中央は、便宜上XYZ座標の原点Oにあるものとする。第1及び第2超音波受信器41,42は、超音波発信器31に対してX方向に所定距離だけ離間して配置され、第3及び第4超音波受信器43,44は、超音波発信器31に対してY方向に所定距離だけ離間して配置されている。X方向は、紙面上で横方向に対応するが、検超音波送受信装置20が傾斜して設置される場合、水平方向に対応するものではない。X方向は、紙面上で縦方向に対応するが、検超音波送受信装置20が傾斜して設置される場合、鉛直方向に対応するものではない。XY面上で考えた場合、超音波発信器31からの送信波SWの発信時刻T0を基準として第1及び第2超音波受信器41,42で受けた同一対象からの反射波RW1,RW2の受信時刻ΔT1,ΔT2の平均値から音速を考慮して対象OBまでの距離が分かり、受信時刻ΔT1,ΔT2の差や第1及び第2超音波受信器41,42の間隔といった情報から音速を考慮して対象OBの方位が分かる。YZ面上で考えた場合、超音波発信器31からの送信波SWの発信時刻T0を基準として第3及び第4超音波受信器43,44で受けた同一対象からの反射波RW3,RW4の受信時刻ΔT3,ΔT4の平均値から音速を考慮して対象OBまでの距離が分かり、受信時刻ΔT3,ΔT4の差や第3及び第4超音波受信器43,44の間隔といった情報から音速を考慮して対象OBの方位が分かる。現実の3次元的な空間の場合、超音波発信器31と第1超音波受信器41とを2焦点として、これら2焦点からの距離の和が受信時刻ΔT1に対応する距離に相当する第1楕円面と、超音波発信器31と第2超音波受信器42とを2焦点として、これら2焦点からの距離の和が受信時刻ΔT2に対応する距離に相当する第2楕円面とを考えて、これらの楕円面の交線又は円周上又はその近傍に対象OBが存在することになる。同様に、超音波発信器31と第3超音波受信器43とを2焦点として、これら2焦点からの距離の和が受信時刻ΔT3に対応する距離に相当する第3楕円面と、超音波発信器31と第4超音波受信器44とを2焦点として、これら2焦点からの距離の和が受信時刻ΔT4に対応する距離に相当する第4楕円面とを考えて、これらの楕円面の交線又は円周上又はその近傍に対象OBが存在することになる。結果的に、以上のような第1~第4楕円面の交点上又はその近傍に対象OBが存在することになる。なお、対象OBが空間的広がりを有する場合、元の送信波SWの時間幅よりも反射波RW1~RW4の時間幅が広くなり、受信時刻ΔT1~ΔT4が一定の幅を有することになり、その幅が対象OBのサイズ又は大きさに関する情報を与えていることにもなる。以下では、説明を簡単にするため、超音波発信器31と第1及び第2超音波受信器41,42とに着目してXY面内での配置検出等について説明することもある。
【0028】
図1に示すアンプ装置50は、超音波発信器31に入力される電気信号を増幅して所期の強度とする送信アンプ55と、第1~4超音波受信器41~44から出力される電気信号を増幅する受信アンプ51~54とを有する。なお、送信アンプ55は、高パワーで高速のアンプであり、受信アンプ51~54は、高速のアンプである。
【0029】
マイコン60は、DAコンバータ65と、第1~4ADコンバータ61~64と、マイクロプロセッサ68と、メモリ69とを備える。DAコンバータ65は、マイクロプロセッサ68から指令を受けて、送信波SWに対応する所定フォーマットの一連のデジタル信号を対応するタイミングでアナログ信号に順次変換する。第1~第4ADコンバータ61~64は、第1~4超音波受信器41~44から受信アンプ51~54を経て受けた反射波RWに相当する一連のアナログ信号を所定フォーマットのデジタル信号に順次変換する。この際、マイクロプロセッサ68は、第1~第4ADコンバータ61~64の出力を時刻に関する情報を付して一時的にメモリ69に振り分けて保管し、適宜のタイミングで処理装置80に出力する。
【0030】
検超音波送受信装置20において、超音波発信器31と送信アンプ55とDAコンバータ65とを組み合わせたものを超音波送信装置25と呼ぶ。また、第1超音波受信器41と受信アンプ51と第1ADコンバータ61とを組み合わせたものを第1超音波受信装置21と呼び、第2超音波受信器42と受信アンプ52と第2ADコンバータ62とを組み合わせたものを第2超音波受信装置22と呼び、第3超音波受信器43と受信アンプ53と第3ADコンバータ63とを組み合わせたものを第3超音波受信装置23と呼び、第4超音波受信器44と受信アンプ54と第4ADコンバータ64とを組み合わせたものを第4超音波受信装置24と呼ぶ。
【0031】
処理装置80は、例えばパーソナルコンピュータであり、演算装置81と、記憶装置82と、入出力装置83と、通信装置84と、ディスプレイ86とを備える。処理装置80は、通信ケーブル91を介して検超音波送受信装置20との間でデジタル通信可能に接続されている。処理装置80は、図2に示す室内IDから離れた位置に設置される。つまり、処理装置80は、検超音波送受信装置20を遠隔的に管理している。
【0032】
演算装置81は、処理装置80の動作を統括する部分であり、検超音波送受信装置20の動作を制御し、超音波を用いて監視対象に対する情報を得る。記憶装置82は、処理装置80自体や検超音波送受信装置20を動作させるプログラムを保管する部分であり、監視対象について得た情報を保管することもできる。入出力装置83は、処理装置80のオペレータが操作する部分であり、演算装置81による処理結果に関連する情報を出力することもできる。通信装置84は、インターネットのような公衆通信ネットワークや独自に構築した専用通信ネットワークを通じて、外部の管理サーバとの間で監視情報、管理情報、指令情報等を送受信する。ディスプレイ86は、演算装置81の制御下で動作し、監視対象に対して得た後述する材質的空間配置情報等を表示する部分となっている。
【0033】
演算装置81は、マイコン60を介して検超音波送受信装置20を動作させ、周波数が所定の規則で変化する送信波(以下、FM型の超音波とも呼ぶ)SWを超音波発信器31から周囲に発生させる。送信波SWの波形は、例えば時間とともに周波数が線形的に増加するものとするが、これに限らず、周波数が線形的に減少するもの、周波数が非線形的に変化するもの等を用いることができる。送信波SWのパターンは、超音波送信データUS0として記憶装置82のデータ領域82aに保管されている。超音波送信データUS0は、単一の波形に対応するものに限らず、複数の波形を予め準備しその中から用途や状況に応じた波形データを選択することができる。演算装置81は、マイコン60を介して検超音波送受信装置20を動作させ、送信波SWに対する応答としての反射波RWを第1~4超音波受信器41~44ごとの超音波反射データUS1~US4として取り込んで記憶装置82のデータ領域82bに保管する。演算装置81は、超音波反射データUS1~US4から送信波SWと相関性が高い波形データを抽出し、対象までの距離及び方位(つまり空間配置)を決定して記憶装置82のデータ領域82cにラベリングした物体として保管するとともに、その波形データの周波数分布について解析を行って、対象の硬さの程度を反映した物質識別指標を決定し、この物質識別指標をラベリングした物体に付随する情報としてデータ領域82cに保管する。データ領域82cに保管された情報は、反射波RWを形成する複数のラベリングされた物体について空間的配置と物質識別指標とを組み合わせた材質的空間配置情報となっている。つまり、演算装置81は、物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する。この場合、着目する空間内における物質の配置状態(実際には硬さの程度を反映した物質識別指標の配置状態)を空間配置パターンとして把握することができる。この際、複数のラベリングされた物体についての空間的配置は、空間的なサイズを含むものとなる場合もある。演算装置81は、検超音波送受信装置20に対して所定のタイミングで周期的に送信波SWを射出する動作を行わせており、材質的空間配置情報は、経時的な監視情報としてデータ領域82cに順次保管されていく。経時的な監視情報は、動画と同様に連続したフレームデータの集合体である。演算装置81は、経時的な監視情報のフレームデータ間において、ラベリングされた物体の同一性を判断することができ、材質やサイズが近い物体が変位する量が所定以下であれば、その物体を同一物体としてラベリングし、そのラベリングされた物体の移動をフレームデータの変遷に従ってトラッキング又はトレースすることができ、そのようなトラッキングデータを物体移動情報としてデータ領域82dに保管する。この際、演算装置81は、トラッキングする物体の重要性をその物質識別指標やサイズによって区分し、監視対象から外すことができる。以上において、演算装置81は、データ領域82cに保管された物質識別指標によって特徴づけられた物体の空間配置パターンの経時的変化を追跡することになる。この場合、着目する対象の移動や静止といった状態変化や動的現象を把握することができる。演算装置81は、監視対象のトラッキングする物体の移動が異常な挙動を示す場合や、許容されない場所に移動するものである場合、これをディスプレイ86に表示し、必要と判断した場合、通信装置84を介して外部の管理サーバに報告することがきる。物質識別装置100は、公共施設の管理者不在エリアやプライベート空間に設置された場合において、事故、要支援状況、犯罪発生といった各種特殊事象の監視に応用することができる。
【0034】
以上の説明では、マイコン60とは別に処理装置80を設けて超音波反射データUS1~US4の処理を行わせ、材質的空間配置情報を得たり、ラベリングされた対象のトラキングを行たりしているが、処理装置80におけるこれらの機能の全部又は一部をマイコン60に組み込むことができ、例えばマイコン60のみで動作を完結することもできる。
【0035】
図4(A)は、送信波SWの発生例を説明する図であり、横軸は時間を示し、縦軸は周波数を示す。図示の例では、単一の送信波SWが1ms程度の幅を有し、このような送信波SWが100ms周期で繰り返されている。一発の送信波SWは、周波数が低下するようなFM型の超音波であり、図示の例では、80kHzから25kHzまで周波数が急激であるが連続的に下降している。図4(B)は、単一の送信波SWの波形を示しており、時間の経過に伴って周波数が低下していることが分かる。なお、送信波SWは、図4(A)等に示すような周波数が漸次下降するような超音波に限らず、周波数が漸次上昇するような超音波であってもよく、最初の時間帯や中間の時間帯で周波数が一定に保たれるような領域があってもよい。また、図4(A)では、送信波SWが100ms周期で繰り返されているが、送信波SWの繰返し周期は、図2に示すような監視対象やその空間のサイズに応じてエコーを取得するまでの時間に応じて適宜設定することができる。
【0036】
図5(A)は、第1及び第2超音波受信器41,42で受ける反射波RW1,RW2又はこれから得た超音波反射データUS1,US2を例示し、図5(B)は、反射波RW1,RW2又はこれから得た超音波反射データUS1,US2に対して送信波SWの送信データとの相互相関をとった波形を示す。図5(C)は、図5(A)等に示す反射波RW1,RW2を得た際の対象の配置、すなわち図3に示す超音波送受信ユニット28の前方に配置される物体の例を示している。この場合、(0,0.75)の位置に配置された第1の物体PO1は、Z方向に延びる直径5mmの円柱状で、(-0.5,1)の位置に配置された第2の物体PO2は、Z方向に延びる直径30mmの円柱状で、(0.4,1.2)の位置に配置された第3の物体PO3は、Z方向に延びる直径30mmの円柱状で、(0,1.6)の位置に配置された第4の物体PO4は、Z方向に延びる直径50mmの円柱状である。図5(B)に示す相互相関をとった波形には、第1~第4の物体PO1~PO4に対応するピークRP11~RP4が表れている。つまり、ピークRP11~RP4を利用することで、第1~第4の物体PO1~PO4までの距離や方向が分かる。
【0037】
図5(B)に示すように、反射波RW1又は反射波RW2に対して送信波SWとの相互相関をとることにより、反射波RW1,RW2から送信波SWと同じような波形を持つものが強調され、送信波SWとは異なる波形は小さくなるという効果が得られる。つまり、反射波RW1,RW2におけるノイズは、送信波SWと異なるので相関関数で求めた図5(A)に示す波形から減少し、物体PO1~PO4等の物体からの反射波RW1,RW2は、送信波SWが似ているので増強される。
【0038】
図6(A)は、反射波RW又はこれから得た超音波反射データを説明する概念図であり、図6(B)は、送信波SW又はこれに対応する超音波送信データを説明する概念図である。反射波RWは、点線で示すように、一定期間ごとにサンプリングが行われてデジタルデータ化されている(具体的には超音波反射データUS1~US4のいずれか)。サンプリング周期は、例えば1μsとされるが、これに限るものではない。送信波SWは、アナログ化される前のデジタルデータ(具体的には超音波送信データUS0)の段階で、サンプリング周期は、反射波RWと一致している。反射波RWについて送信波SWとの相互相関をとる際には、反射波RWのうち対象となる最初の区間ID0(送信波SWの時間幅IS0に相当)で、区間ID0中の各時点の反射波RWのサンプル値と、送信波SWの各時点のサンプル値とについてN個の掛け算をして、そのN個の掛け算値を全て加算したものを各波形の二乗和平方根で正規化したものをt0時点での相関関数値とする。次に、図6(C)に示すように、送信波SWを一点ずらして、区間ID1中の各時点の反射波RWのサンプル値と、送信波SWの各時点のサンプル値とについてN個の掛け算をして、そのN個の掛け算値を全て加算したものを各波形の二乗和平方根で正規化したものをt1時点での相関関数値とする。これを繰り返して次々に相関関数値を求めていって、その値を時間軸上にプロットすると相関関数の波形になる。以上は、反射波RWについて送信波SWとの相互相関をとる計算の一例であり、他の様々な演算方法で相関を求めることができる。
【0039】
以上では、図5(B)に示すように、物体PO1~PO4が多くない場合や物体PO1~PO4が比較的離れている場合について、第1~第4の物体PO1~PO4までの距離や方向が分かるとしたが、観測対象の複数の物体が近い場合や多い場合は、混信が生じる可能性がある。そのため、距離や方向の算出では相関波形を用いている。例えば、受信器が左右にある場合、物体である円柱について発信波SWと右受信波(RW1Rとする)の相関波形(RP1Rとする)、及び、発信波SWと左受信波(RW1Lとする)の相関波形(RP1Lとする)から、円柱までの距離と方向を算出している。具体的には、物体からの距離については発信波SWから右の相関波形RP1Rまでの時間差(TR)と発信波SWから左の相関波形RP1Lまでの時間差(TL)の平均値((TR+TL)/2)から算出し、方向については右の時間差(TR)と左の時間差(TL)の差(ΔTとする)から算出した。すなわち、TRとTLが大きければ発信器から円柱までの距離は遠くなり、TRとTLの差ΔTが同じであれば円柱は正面方向にあり、差ΔTが大きいほど正面方向から外れることになる。
【0040】
以下、反射波RWの波形データの周波数分布について解析する手法について説明する。反射波RW1が送信波SWに対して相関性を有するとして抽出されたデータ領域については、このデータ領域における着目波形データに対してFFT(高速フーリエ変換)を行って、フーリエ変換スペクトルすなわち周波数分布について解析を行う。なお、受信波である反射波RWのデータの全領域に対してFFTを行うこともできる。周波数分布の解析については、FFTに限らず、ウェーブレット変換等の様々な手法を用いることができる。
【0041】
図7(A)に示すような波形を仮に反射波RWとする。例えば、送信波SWを発射してから直ぐに1μs周期で100msの期間に亘って反射波RWをサンプリングすると、100×1000点つまり10万点のサンプル値が得られる。このサンプル値の中から、例えば最初から100個(図中でフレーム長と表示)までのサンプル値に対してFFTによりスペクトルSP1を求め(図7(B)の最も左側)、次にフレーム長より短時間に相当する50点(図中でフレーム周期と表示)ずらして、そこから100個までのサンプル値に対してFFTによりスペクトルSP1を求め(図7(B)の次に左側)、次にさらに50点ずらして、そこから100個までのサンプル値に対してFFTによりスペクトルを求め、・・・ということを繰り返す。ここで、具体的なフレーム周期は、例えば50μsであり、具体的なフレーム長は、例えば100μs=0.1msである。以上の手法によって、スペクトルを求めた場合、100000個のサンプル値を50点ずつずらしてはスペクトルをとるので、2000個の短時間のスペクトルが得られる。このような短時間のスペクトルを以下では短時間スペクトルと呼ぶ。短時間スペクトルを集めたものは、時間軸を横軸、周波数を手前から奥行軸、パワー(強度)を縦軸として、3次元図として表すこともできるが、パワー(強度)を「濃度」で表現することで、丁度「声紋」のように、2次元的なパターンとして表示できるようにし、このような可視的濃度付きのパターンを濃度型時間スペクトルパターンと呼ぶものとする。このような時間スペクトルパターンは、濃度の濃い所が物体からの反射音であろうと予測され、予測した1ms程度以上の長さを有する反射波RWには、0.1ms間で50μs毎に求めた、合計20個以上の短時間スペクトルがある。この中から濃度の濃い部分を反射波RWとみなして、そこの短時間スペクトルパターンをパターンマッチングのデータとする。このような短時間スペクトル又はこれらを平均化したものを局所的な時間スペクトルパターン又は単にスペクトルパターンとも呼ぶ。受信波の時間スペクトルの全てを計算すると計算量が多くなるので、ここでは簡略化のために相関性の高い所の波形(着目波形)を反射波RWとみなし、その時間スペクトルだけをパターンマッチングのデータとしている。短時間スペクトルに着目することで特徴抽出や分類が容易になり、判定処理の簡便化を図ることができる。
【0042】
時間スペクトルパターンとしては、1つの短時間スペクトルを用いることもできる。例えば、相関関数が極大となる点を算出しその点を起点とする送信波SWの長さ分の波形を着目波形とする。その着目波形を中心とした、送信波SWの1~2倍の長さの範囲において、周波数スペクトルを解析又は算出し、このような周波数スペクトルを1つの短時間スペクトルとして用いることもできる。
【0043】
短時間スペクトルは、送信波SWの時間幅よりも狭い時間幅を有するものとなっている。短時間スペクトルについては、フレーム長(サンプル幅)が短いとスペクトルの精度(正確には周波数分解能)が落ちてしまい材質特定がしづらくなる傾向が生じる。逆に、フレーム長(サンプル幅)が長いと時間分解能は落ちるが、周波数分解能が高くなる。実際には、反射波RWも1ms位であり、それよりもサンプル幅を広くしすぎると反射波以外の信号も拾ってしまうという事情もあり、フレーム長(サンプル幅)を2ms以下に設定している。
【0044】
図8(A)~8(D)は、様々なサンプルに対して送信波SWを当て反射波RWを検出する実験を行って得た反射波RWの周波数スペクトルつまり時間スペクトルパターンを示す。図8(A)~8(D)に示す時間スペクトルパターンを得るため、図3に示す超音波送受信ユニット28(第3及び第4超音波受信器43,44を省略したもの)を水平方向に向け正面の前方60cmの位置に、25cm×30cmサイズの様々な材質の板を配置した。図8(A)は、厚さ1mmの鉄板の場合を示し、図8(B)は、厚さ2.3mmのスチレン板の場合を示し、図8(C)は、厚さ5mmのラワン合板の場合を示し、図8(D)は、厚さ5mmのウレタンスポンジの場合を示す。なお、図8(A)~8(D)は硬い物質から柔らかい物質の順になっている。図8(A)~8(D)から明らかなように、50kHzの周辺に形成される周波数のピークパターンが材質ごとに異なることが分かる。図8(A)の鉄板では、周波数50kHzに最大のピークがあり、その前後の周波数30kHzや70kHzの辺りに比較的大きなピークがある。図8(B)のスチレン板では、周波数50kHz辺りの大きなピークに加えて、周波数70kHz辺りに最大のピークがあり、その下側の周波数30kHzの辺りに比較的大きなピークがある。図8(C)のラワン合板では、周波数50kHz辺りのピークは無くなり、周波数30kHz~70kHzが平坦なピークとなっている。図8(D)のウレタンスポンジでは、周波数50kHz辺りは減弱し、周波数30kHz~70kHzにおいて全体として目立ったピークがないが、振幅の大きな変動がみられる。
【0045】
図9(A)は、様々なサンプルに対し別の実験を行って得た時間スペクトルパターンを示す。また、図10は、図9(A)に示す実験における超音波送受信ユニットやサンプルの配置状態を説明する図である。波送受信ユニット28から出力する送信波SWは、図4(A)に示すようなパターンで、周波数を80kHz~20kHzに下降させた。波送受信ユニット28は、床面FL上に設置した円筒状の支持体SM上にサンプルSAをセットし、その上方に超音波送受信ユニット28(第3及び第4超音波受信器43,44を省略したもの)を配置した。超音波送受信ユニット28からサンプルSAまでの距離を1mとし、サンプルSAのサイズは20cm×30cmとした。サンプルSAの厚みは、1~3mmとした。サンプルSAは、具体的には、鉄板、合板、ビニル、エラストマ、スチレンボード、及びプレーンゴムであり、硬さの値は、それぞれ100、96.85、85、72、及び25であった。図9(A)において、変化1~6として示した周波数領域において硬さの差を示すピーク波形が得られていることが分かる。例えば、25~30kHzでは、スチレンボードやプレーンゴムなどの軟材料ほどレベルが減少しており(変化1)、35kHz以上ではビニールなどの軟材料のレベルが増加している(変化2から6)。合板など硬い材料では40~50kHzの範囲でレベルが減少している(変化3と4の間)が、鉄板ではそのような減少はみられない。なお、エラストマは図の中では埋没して見づらいが、硬軟の中間に位置するレベルである。図9(B) は、鉄板のスペクトルとの差を示すスペクトルパターンであり、軟材と硬材とで周波数に依存してレベルが増減しているのが読み取れる。ただし、材質は特定の周波数領域におけるレベルの局所的な増減だけで判定されるのではなく、その増減のパターン(周波数特性)全体の違いで判定されるべきである。
【0046】
以上 の説明は単なる例示であり、上記材料以外であって各種硬さを有し、様々なサイズを有するサンプルSAに送信波SWを当て反射波RWを検出する実験を行って得た反射波RWの時間スペクトルパターンを蓄積し、予め解析し学習することで、処理装置80により、様々な対象OBについて硬さやサイズ等の各種情報を判定することができる。
【0047】
図11(A)~11(C)は、超音波発信器31の1m前方に置いた厚さ2cm~10cmのウレタンフォーム(50cm×50cm)からの反射音スペクトルを示している。図11(A)は、厚さ2cmのウレタンフォームの時間スペクトルパターンを示し、図11(B)は、厚さ5cmのウレタンフォームの時間スペクトルパターンを示し、図11(C)は、厚さ10mのウレタンフォームの時間スペクトルパターンを示す。全般的に超音波がタンフォームを透過してしまい反射音は僅かであったが、その中でも46~47kHzの成分は厚さが大きくなるにつれて減弱していった。このことから、本実験で使用したウレタンフォームでは緻密性が少ないことから発射音は全般的に透過するものの、46-47kHz付近では吸収が起きていることが推察される。このように注目点は材料によって異なることが推測され、逆に、その注目点の変化から材質の違いが予測される。
【0048】
以上から明らかなように、多数の予測される材質について、反射波RWの時間スペクトルパターンを予め測定し記憶装置82にテンプレートとして登録しておけば、反射波RWの時間スペクトルパターンの登録された多数のテンプレートに対する類似性から、超音波送受信ユニット28の前方に存在する対象物又は対象OBの材質又は材料を推定することができる。このようにして決定した材質又は材料は、対象OBの硬さの程度を反映した物質識別指標である。言い換えるならば、反射波RWの波形パターンにおいて、対象物又は対象OBに対して得た局所的な時間スペクトルパターン(対象波形パターン)を既知の複数種の物質に対して得た複数のテンプレート(基準波形パターン)と比較し、近似性の高さから、対象物又は対象OBの物質識別指標として物質種を特定することになる。上記のような局所的な時間スペクトルパターンの近似性又は類似性は、相関その他の各種統計的な手法によって判定が可能である。さらに、多層化したニューラルネットワークを構築するディープラーニングのような各種機械学習の手法を利用して上記のような局所的な時間スペクトルパターンの類似性を判断することもでき、AIを用いたパターン識別も可能である。
【0049】
物質識別指標は、対象OBの材質又は材料を特定するものには限らない。物質識別指標は、硬さの程度を示す硬度のようなものであってもよい。物質識別指標は、硬さを複数段階に区分した硬さ分類であってもよい。例えば(1)鉄板や合板のように硬い板状体、(2)透明ビニール板や透明ビニール板のように中間程度の板状体、(3)スチレンボードやゴムのように柔らかい板状体について区分が可能である。これらの区分(1)~(3)は、時間スペクトルパターン全体の傾斜(周波数の低い所(30kHz辺り)の強度と周波数の高い所(50~60kHz)の強度の比)が明らかに違うことを実験的に確認している。物質識別指標は、物質のカテゴリーを区別するようなものであってもよい。例えば、金属固体、セラミックス固体、有機物固体等を区別することができる可能性もある。有機物固体は、肉のような生体的物質も含むという観点で、生体とそれよりも硬い物を区別することもできると考えられる。物質識別指標は、多孔質や繊維といった緻密度に関する情報を含むものとすることができる。スポンジ、繊維といった緻密度が低いものには明らかに透過成分が大きくなり、緻密度の高いゴム板などとは時間スペクトルパターンが大きく相違するものとなる。
【0050】
詳細な説明を省略するが、対象物又は対象OBの厚みが増加するほど反射波RWの時間スペクトルパターンのパワーが全体的に低下する下方シフトが生じると考えられ、対象OBまでの距離によってパワー値に対して校正を行えば、対象OBの厚みを推定することも可能になる。
【0051】
図12(A)及び12(B)は、検超音波送受信装置20の透視性について行った実験を説明する図である。図12(A)は、超音波送受信ユニット28の前方100cmの位置ガラス板を配置した場合の濃度型時間スペクトルパターンを示し、図12(B)は、超音波送受信ユニット28の前方100cmの位置にガラス板を配置し、かつ、ガラス板を覆うように超音波送受信ユニット28の前方70cmの位置に薄い風呂敷布を配置した場合の濃度型時間スペクトルパターンを示している。図12(B)から明らかなように、風呂敷布の存在とガラス板の存在とを同時に検出できていることが分かる。以上のことから、実施形態の物質識別装置100により、薄いカーテンのような仕切り又は幕で隠れて視覚的には見えない物やヒトであってもその検出が可能であるといえる。また、実施形態の物質識別装置100により、視覚的には透明で見えにくいガラス、鏡等の材質も検出可能である。
【0052】
以上の現象を利用すれば、処理装置80により、方位が重なりつつも距離が異なる複数の対象の少なくとも1つについて物質識別指標を検出することができ、超音波を透過する対象とその背後の対象とについて、送信波SW及び反射波RWの対比から、物質識別指標をそれぞれ検出することができる。具体的には、上記した風呂敷の後ろのガラス面の存在の検出に限らず、ウレタン材フォームの後ろの硬いものの存在の検出、ウレタンフォームの背後の硬いモノからの反射波によるウレタンフォームの厚さの違いの検出などが可能である。
【0053】
詳細な説明は省略するが、霧、煙などといった微粒子は超音波を基本的に遮らないので、実施形態の物質識別装置100により、霧、煙などで見えにくい場所にある物やヒトの検出が可能であるといえる。
【0054】
以上のように、実施形態の物質識別装置100は、物質の可視的外観を利用した物体検出を行うものではないので、同じ柄で材質が違う物体についても別物として識別可能である。つまり、実施形態の物質識別装置100を例えば移動体上に搭載した場合、移動体が前方物体に向かう場合において、前方物体に対する衝突の衝撃を事前に簡易に予測することができる。
【0055】
実施形態の物質識別装置100は、超音波を用いた計測を行うので、個室、医療設備といったプライベート空間におけるヒトの動きを観察する観点で、個人情報等の漏洩に関する信頼性が高いといえる。
【0056】
以下、図13を参照して物質識別装置100の動作について説明する。処理装置80は、検超音波送受信装置20を用いて得たデータから、超音波送受信ユニット28の前方に配置された1以上の対象OBについて配置や材質に関する情報を得る(ステップS1)。つまり、処理装置80は、材質的空間配置情報を得る。
【0057】
次に、処理装置80は、記憶装置82を参照して、材質的空間配置情報によって特定される対象OBについて過去のデータと比較しつつ同一性を判断し、同一物体と判断したものについてはラベリングし、ラベリングされた物体又は対象OBの移動をトラッキング又はトレースする(ステップS2)。
【0058】
処理装置80は、例えばラベリングされた物体又は対象OBの移動や停止が異常な挙動であるか否か、ラベリングされた物体又は対象OBが許容されない場所に移動しつつあるか否かといった、警報その他の通報を要するような通報事態の発生の有無を判断する(ステップS3)。異常な挙動とは、例えば病院や介護施設であれば、病人や被介護者の転倒等を意味し、許容されない場所に移動するとは、例えば他のセキュリティチェック機構をすり抜けた外部からの侵入者の動作がこれに該当する。
【0059】
処理装置80は、ラベリングされた物体又は対象OBの移動が異常な挙動と判断した場合、あるいは、ラベリングされた物体又は対象OBが許容されない場所に移動すると判断した場合、ディスプレイ86等に警報を表示し、通信装置84を介して外部の管理サーバに対して異常事態を報告する(ステップS4)。
【0060】
以下、図14を参照して、図13のステップS1の動作について詳細に説明する。処理装置80は、検超音波送受信装置20を動作させ、FM型の超音波である送信波SWを超音波発信器31から周囲に発生させ、送信波SWに対する応答としての反射波RWを第1~4超音波受信器41~44ごとの超音波反射データとして取り込む(ステップS11)。その後、処理装置80は、超音波反射データから送信波SWと相関性がある波形データを抽出するための相関処理を行う(ステップS12)。次に、処理装置80は、ステップS12で相関性があるとした波形データから、対象までの距離及び方位(つまり空間配置)を決定し、記憶装置82に保管する(ステップS13)。一方処理装置80は、ステップS12で相関性があるとした波形データからFFT等の手法を用いて周波数分布について解析を行って、スペクトルパターンを得る(ステップS14)。次に、処理装置80は、ステップS14でスペクトルパターンを得た対象について、記憶装置82に保管されている登録されたテンプレートと比較するパターンの照合を行い(ステップS15)、対象OBの材質の推定、対象OBの硬さレベルの推定といった、対象の硬さの程度を反映した物質識別指標を決定する(ステップS16)。最後に、処理装置80は、反射波RWに対応する1つ以上の対象OBについてラベリングしつつ空間的配置と物質識別指標とを組み合わせる統合を行って、材質的空間配置情報を構成する(ステップS17)。
【0061】
以上の説明から明らかなように、上記実施形態の物質識別装置100では、超音波発信器31が周波数が所定の規則で変化する送信波SWを発生するので、超音波受信器41~44によって検出される反射波RWは、反射波RWを形成した対象OBを構成する物質に関する情報(例えば対象OBの硬さに関する情報)を多様な周波数に対する応答として含むものとなっている。処理装置80は、反射波RWの波形に基づいて対象OBの硬さの程度を反映した物質識別指標を決定するが、このような物質識別指標は、対象OBを構成する物質の硬さ等に関する情報であり、対象OBの物質を特定する参考となる。
【0062】
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。例えば、図3に示す4つの超音波受信器41~44の配置は単なる例示であり、超音波発信器31からの距離や方向は適宜変更することができる。また、4つの超音波受信器41~44を設けないで3つの超音波受信器によって、対象OBの空間的な配置を決定することができる。
【0063】
超音波発信器31は、指向性を持たせたものとすることができ、超音波受信器41~44も、単独として指向性を持たせたものとすることができる。この場合、超音波発信器31や超音波受信器41を走査するように移動させて対象OBの方向を決定することができる。
【符号の説明】
【0064】
OB…対象、 OB1…ヒト、 OB2…物体、 PO1-PO4…物体、 RW…反射波、 RW1-RW4…反射波、 SW…送信波、 1-4AD…第、 41-44…超音波受信器、 51-54…受信アンプ、 61-64…ADコンバータ、 20…検超音波送受信装置、 21~24…超音波受信装置、 25…超音波送信装置、 27…支持体、 28…超音波送受信ユニット、 31…超音波発信器、 41~44…超音波受信器、 50…アンプ装置、 60…マイコン、 68…マイクロプロセッサ、 69…メモリ、 80…処理装置、 81…演算装置、 82…記憶装置、 83…入出力装置、 84…通信装置、 86…ディスプレイ、 91…通信ケーブル、 100…物質識別装
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14