(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-30
(45)【発行日】2022-06-07
(54)【発明の名称】物体検出装置
(51)【国際特許分類】
G01V 9/00 20060101AFI20220531BHJP
【FI】
G01V9/00 E
(21)【出願番号】P 2018030678
(22)【出願日】2018-02-23
【審査請求日】2020-12-11
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100168583
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】伊藤 雄一
【審査官】岡村 典子
(56)【参考文献】
【文献】特開平10-175721(JP,A)
【文献】特開2002-296245(JP,A)
【文献】特開平01-234003(JP,A)
【文献】特開2000-120147(JP,A)
【文献】米国特許出願公開第2010/0161254(US,A1)
【文献】岩瀬大輝、外4名,アクティブ音響センシングを用いた物体識別と位置推定,情報処理学会研究報告,2017年06月02日
【文献】岩瀬大輝、外4名,アクティブ音響センシングによる日常物体識別と位置推定,情報処理学会インタラクション2018,2018年03月02日
(58)【調査した分野】(Int.Cl.,DB名)
G01V 1/00-9/00
(57)【特許請求の範囲】
【請求項1】
載置板の第1位置に配置され、前記載置板に振動を付与する加振器と、
前記載置板の前記第1位置と相違する第2位置に配置され、前記載置板の振動を検出する振動検出器と、
前記振動検出器の検出信号に対してフーリエ変換を実行し、振幅スペクトルを生成する変換部と、
前記振幅スペクトルを学習する学習部と、
前記
学習部の学習結果に基づいて、前記載置板の載置面上に載置される物体の状態を検出する物体検出部と
を備
え、
前記変換部は、前記載置面上に前記物体が載置されていない場合の前記振幅スペクトルを示す第1振幅スペクトルと、前記載置面上に複数の前記物体の各々が載置されている場合の前記振幅スペクトルを示す第2振幅スペクトルとを生成し、
前記第1振幅スペクトルと、前記第2振幅スペクトルとに基づき、前記載置面上に前記複数の物体が載置されている場合の前記振幅スペクトルを示す第3振幅スペクトルを生成する生成部を更に備え、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記複数の物体の各々の前記状態を検出する、物体検出装置。
【請求項2】
前記状態は、位置、種類、姿勢、及び内容量の少なくとも1つを含む、請求項1に記載の物体検出装置。
【請求項3】
前記加振器は、時間の経過に応じて周波数が変化する振動を前記載置板に付与する、請求項1又は請求項2に記載の物体検出装置。
【請求項4】
前記加振器は、前記振動を出力する第1振動体を有し、
前記第1振動体は、前記振動を前記載置板に付与し、
前記振動検出器は、前記振動を検出する第2振動体を有し、
前記第2振動体は、前記載置板の前記振動を検出する、請求項1から請求項3のいずれか1項に記載の物体検出装置。
【請求項5】
前記加振器は、音響振動を出力する第1圧電素子を有し、
前記第1圧電素子は、前記音響振動を前記載置板に付与し、
前記振動検出器は、前記音響振動を検出する第2圧電素子を有し、
前記第2圧電素子は、前記載置板の前記音響振動を検出する、請求項1から請求項3のいずれか1項に記載の物体検出装置。
【請求項6】
前記振動検出器は、
前記載置板の前記第2位置に配置される第1振動検出器と、
前記載置板の前記第1位置及び前記第2位置と相違する第3位置に配置される第2振動検出器と
を有する、請求項1から請求項5のいずれか1項に記載の物体検出装置。
【請求項7】
前記変換部は、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す第4振幅スペクトルと、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す第5振幅スペクトルとを生成し、
前記生成部は、前記第4振幅スペクトルと前記第5振幅スペクトルとの周波数毎の振幅の和を示す和スペクトルを生成し、
前記生成部は、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成し、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態とを検出する、請求項
1に記載の物体検出装置。
【請求項8】
前記変換部は、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す第4振幅スペクトルと、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す第5振幅スペクトルと、前記載置面上に前記第1物体及び前記第2物体と相違する第3物体が載置されている場合の前記第2振幅スペクトルを示す第6振幅スペクトルとを生成し、
前記生成部は、前記第4振幅スペクトルと前記第5振幅スペクトルと前記第6振幅スペクトルとの周波数毎の振幅の和を示す和スペクトルを生成し、
前記生成部は、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を示す差スペクトルを生成し、
前記生成部は、前記差スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成し、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態と前記第3物体の前記状態とを検出する、請求項
1に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、載置面上に載置される物体の状態を検出する物体検出装置に関する。
【背景技術】
【0002】
特許文献1に記載の物体位置認識装置は、検出パネルと、複数の第1送受信コイルと、複数の第2送受信コイルと、制御手段と、複数の横方向の送受信手段と、複数の縦方向の送受信手段と、横方向切換手段と、縦方向切換手段と、送受信手段とを備える。複数の第1送受信コイルは、検出パネルの横方向に配列され、複数の第2送受信コイルは、検出パネルの縦方向に配列される。横方向切換手段は、複数の横方向の送受信手段を切り換える。縦方向切換手段は、複数の縦方向の送受信手段を切り換える。物体には、識別データを記憶するメモリ装置が取り付けられている。送受信手段は、データ読出コマンドを送信し、メモリ装置から識別データを受信する。
【0003】
物体が検出パネル上に存在する場合に、横方向切換手段は、横方向の送受信手段を順次駆動し、送受信手段は、データ読出コマンドを送信する。そして、メモリ装置内に設けた共振回路がキャリア周波数で共振し、その残留振動を断続して識別データを送信する。また、縦方向切換手段は、縦方向の送受信手段を順次駆動し、送受信手段は、データ読出コマンドを送信する。そして、メモリ装置内に設けた共振回路がキャリア周波数で共振し、その残留振動を断続して識別データを送信する。制御手段は、送受信手段が識別データを受信したときに、横方向切換手段に与えた切換制御信号の列の番号と、縦方向切換手段に与えた切換制御信号の行の番号とに基づき、物体の位置を検出する。また、制御手段は、識別データに基づき、物体の種類を検出する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の物体位置認識装置は、複数の第1送受信コイルと、複数の第2送受信コイルと、複数の横方向の送受信手段と、複数の縦方向の送受信手段と、横方向切換手段と、縦方向切換手段と、送受信手段とを備える必要がある。したがって、物体位置認識装置の製造コストが増加する。
【0006】
本発明は、上記課題に鑑みてなされたものであり、簡素な構成で物体の状態を検出可能な物体検出装置を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明に係る物体検出装置は、加振器と、振動検出器と、物体検出部とを備える。前記加振器は、載置板の第1位置に配置され、前記載置板に振動を付与する。前記振動検出器は、前記載置板の前記第1位置と相違する第2位置に配置され、前記載置板の振動を検出する。前記物体検出部は、前記振動検出器の検出結果に基づいて、前記載置板の載置面上に載置される物体の状態を検出する。
【0008】
本発明に係る物体検出装置において、前記状態は、位置、種類、姿勢、及び内容量の少なくとも1つを含むことが好ましい。
【0009】
本発明に係る物体検出装置において、前記加振器は、時間の経過に応じて周波数が変化する振動を前記載置板に付与することが好ましい。
【0010】
本発明に係る物体検出装置において、前記加振器は、振動を出力する第1振動体を有し、前記第1振動体は、前記振動を前記載置板に付与することが好ましい。前記振動検出器は、前記振動を検出する第2振動体を有し、前記第2振動体は、前記載置板の前記振動を検出することが好ましい。
【0011】
本発明に係る物体検出装置において、前記加振器は、音響振動を出力する第1圧電素子を有し、前記第1圧電素子は、前記音響振動を前記載置板に付与することが好ましい。前記振動検出器は、前記音響振動を検出する第2圧電素子を有し、前記第2圧電素子は、前記載置板の前記音響振動を検出することが好ましい。
【0012】
本発明に係る物体検出装置において、前記振動検出器は、前記載置板の前記第2位置に配置される第1振動検出器と、前記載置板の前記第1位置及び前記第2位置と相違する第3位置に配置される第2振動検出器とを有することが好ましい。
【0013】
本発明に係る物体検出装置において、前記振動検出器の検出信号に対してフーリエ変換を実行し、振幅スペクトルを生成する変換部を更に備え、前記物体検出部は、前記振幅スペクトルに基づいて、前記物体の前記状態を検出することが好ましい。
【0014】
本発明に係る物体検出装置において、前記振幅スペクトルを学習する学習部を更に備え、前記物体検出部は、前記学習部の学習結果に基づいて、前記物体の前記状態を検出することが好ましい。
【0015】
本発明に係る物体検出装置において、前記変換部は、第1振幅スペクトルと、第2振幅スペクトルとを生成することが好ましい。前記第1振幅スペクトルは、前記載置面上に物体が載置されていない場合の前記振幅スペクトルを示す。第2振幅スペクトルは、前記載置面上に複数の物体の各々が載置されている場合の前記振幅スペクトルを示す。前記学習部は、前記第1振幅スペクトルと前記第2振幅スペクトルとに基づいて学習することが好ましい。前記物体検出部は、前記学習部の学習結果に基づいて、前記複数の物体の各々の前記状態を検出することが好ましい。
【0016】
本発明に係る物体検出装置において、前記第1振幅スペクトルと、前記第2振幅スペクトルとに基づき、第3振幅スペクトルを生成する生成部を更に備えることが好ましい。前記第3振幅スペクトルは、前記載置面上に前記複数の物体が載置されている場合の振幅スペクトルを示す。前記学習部は、前記第3振幅スペクトルを学習し、前記物体検出部は、前記学習部の学習結果に基づいて、前記複数の物体の各々の前記状態を検出することが好ましい。
【0017】
本発明に係る物体検出装置において、前記変換部は、第4振幅スペクトルと、第5振幅スペクトルとを生成することが好ましい。前記第4振幅スペクトルは、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す。前記第5振幅スペクトルは、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す。前記生成部は、和スペクトルを生成することが好ましい。前記和スペクトルは、前記第4振幅スペクトルと前記第5振幅スペクトルとの周波数毎の振幅の和を示す。前記生成部は、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成することが好ましい。前記学習部は、前記第3振幅スペクトルを学習することが好ましい。前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態とを検出することが好ましい。
【0018】
本発明に係る物体検出装置において、前記変換部は、第4振幅スペクトルと、第5振幅スペクトルと、第6振幅スペクトルとを生成することが好ましい。前記第4振幅スペクトルは、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す。前記第5振幅スペクトルは、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す。前記第6振幅スペクトルは、前記載置面上に前記第1物体及び前記第2物体と相違する第3物体が載置されている場合の前記第2振幅スペクトルを示す。前記生成部は、和スペクトルと差スペクトルとを生成することが好ましい。前記和スペクトルは、前記第4振幅スペクトルと前記第5振幅スペクトルと前記第6振幅スペクトルとの周波数毎の振幅の和を示す。前記差スペクトルは、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を示す。前記生成部は、前記差スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成することが好ましい。前記学習部は、前記第3振幅スペクトルを学習することが好ましい。前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態と前記第3物体の前記状態とを検出することが好ましい。
【発明の効果】
【0019】
本発明に係る物体検出装置によれば、簡素な構成で物体の状態を検出できる。
【図面の簡単な説明】
【0020】
【
図1】本発明の実施形態に係る物体検出装置の構成の一例を示す図である。
【
図2】(a)は、加振器と振動検出器と支持部材との載置板における配置の一例を示す平面図である。(b)は、加振器と振動検出器と支持部材との載置板における配置の一例を示す側面図である。
【
図3】本発明の実施形態に係る制御部の構成の一例を示す図である。
【
図4】加振器に印加される音響振動の周波数の変化の一例を示す図である。
【
図5】物体の位置を検出する実験方法の一例を示す図である。
【
図6】物体の位置と振幅スペクトルとの関係の一例を示す図である。
【
図8】物体の種類の検出する実験方法の一例を示す図である。(a)は、物体の種類がマグカップである場合の実験方法の一例を示す図である。(b)は、物体の種類がみかんである場合の実験方法の一例を示す図である。
【
図10】物体の種類と振幅スペクトルとの関係の一例を示す図である。
【
図11】物体の種類の識別率の一例を示す図である。
【
図12】物体の姿勢を検出する実験方法の一例を示す図である。(a)は、積み木が縦長に配置されている場合の実験方法の一例を示す図である。(b)は、積み木が横長に配置されている場合の実験方法の一例を示す図である。
【
図13】物体の姿勢と振幅スペクトルとの関係の一例を示す図である。
【
図14】物体の内容量を検出する実験方法の一例を示す図である。(a)は、コップに水が入っていない場合の実験方法の一例を示す図である。(b)は、コップに水が入っている場合の実験方法の一例を示す図である。
【
図15】物体の内容量と振幅スペクトルとの関係の一例を示す図である。
【
図16】2つの物体の位置と種類とを検出する方法の一例を示す図である。(a)は、第1振幅スペクトルと、第2振幅スペクトルとの生成方法の一例を示す図である。(b)は、第3振幅スペクトルの推定方法の一例を示す図である。(c)は、第3振幅スペクトルの生成方法の一例を示す図である。
【
図17】2つの物体の位置と種類とを検出する場合の制御部の処理の一例を示すフローチャートである。
【
図18】制御部の学習処理の一例を示すフローチャートである。
【
図19】制御部の検出評価処理の一例を示すフローチャートである。
【
図20】2つの物体の位置と種類との識別率の一例を示す図である。
【
図21】3つの物体の位置と種類とを検出する方法の一例を示す図である。(a)は、第1振幅スペクトルと、第2振幅スペクトルとの検出方法の一例を示す図である。(b)は、第3振幅スペクトルの推定方法の一例を示す図である。(c)は、第3振幅スペクトルの生成方法の一例を示す図である。
【
図22】3つの物体の位置と種類との識別率の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、図面(
図1~
図22)を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【0022】
<物体検出装置100の構成>
まず、
図1を参照して、本実施形態に係る物体検出装置100の構成について説明する。
図1は、物体検出装置100の構成の一例を示す図である。
図1に示すように、物体検出装置100は、パーソナルコンピュータ1と、オーディオインターフェース2と、検出装置本体3とを備える。
【0023】
パーソナルコンピュータ1は、制御部11とディスプレイ12とを備える。制御部11は、オーディオインターフェース2と、検出装置本体3とを制御する。制御部11は、プロセッサ11A及び記憶部11Bを備える。プロセッサ11Aは、例えばCPU(Central Processing Unit)を備える。記憶部11Bは、半導体メモリのようなメモリを備え、HDD(Hard Disk Drive)を備えてもよい。記憶部11Bは、制御プログラムを記憶している。ディスプレイ12は、例えば、LCD(Liquid Crystal Display)を備え、種々の画像を表示する。制御部11については、後述にて
図3を参照して詳細に説明する。
【0024】
オーディオインターフェース2は、制御部11の指示に応じて、検出装置本体3との間で信号を送受信する。オーディオインターフェース2は、信号発生器21を備える。信号発生器21は、時間Tの経過に応じて周波数Fが変化する信号(スイープ信号)を発生する。スイープ信号については、後述にて
図4を参照して詳細に説明する。
【0025】
検出装置本体3は、載置板31、加振器32、振動検出器33及び支持体34を備える。また、
図1には、X軸、Y軸及びZ軸を記載している。Z軸は、鉛直方向に平行である。X軸及びY軸は、水平方向に平行である。X軸、Y軸及びZ軸は互いに直交する。具体的には、X軸は、載置板31の長手方向を示す。Y軸は、載置板31の幅方向を示す。
【0026】
載置板31は、例えば、矩形のアクリル板である。具体的には、載置板31は、厚みが5mmであり、幅が180mmであり、長さが320mmである。載置板31は、載置面SFを有する。載置面SFは、載置板31の上面に相当し、物体BJが載置される。また、載置板31には、加振器32と振動検出器33とが配置される。
【0027】
加振器32は、載置板31の第1位置P1に配置され、載置板31に振動を付与する。例えば、第1位置P1は、載置板31の幅方向(Y軸方向)の中央で、且つ載置板31の長手方向の一方端(X軸方向の負方向端)の位置を示す。また、第1位置P1は、例えば、載置板31の下面に位置する。具体的には、加振器32は、信号発生器21によって発生されたスイープ信号に対応する音響振動を載置板31に付与する。加振器32は、音響振動を出力する第1圧電素子を有する。第1圧電素子は、例えば、ピエゾ素子である。換言すれば、加振器32は、スピーカである。加振器32は、薄板円形状に形成され、直径が20mmである。
【0028】
振動検出器33は、載置板31に配置され、載置板31の振動を検出する。第2位置P2は、第1位置P1と相違する。また、第2位置P2は、例えば、載置板31の下面に位置する。振動検出器33が検出した検出信号SGはオーディオインターフェース2に入力される。検出信号SGは音響振動を示す。オーディオインターフェース2は、振動検出器33が検出した検出信号SGを、例えば、96kHzのサンプリング周波数で取得する。
【0029】
振動検出器33は、第1振動検出器331と、第2振動検出器332とを有する。第1振動検出器331は、載置板31の第2位置P2に配置される。第2振動検出器332は、載置板31の第3位置P3に配置される。第3位置P3は、第1位置P1及び第2位置P2と相違する。また、第3位置P3は、例えば、載置板31の下面に位置する。例えば、第2位置P2は、載置板31の幅方向(Y軸方向)の中央で、且つ載置板31の長手方向の他方端(X軸方向の正方向端)の位置を示す。第3位置P3は、載置板31の長手方向(X軸方向)の中央で、且つ載置板31の幅方向の一方端(Y軸方向の正方向端)の位置を示す。
【0030】
具体的には、第1振動検出器331及び第2振動検出器332の各々は、音響振動を検出する第2圧電素子を有する。第2圧電素子は、例えば、ピエゾ素子である。換言すれば、第1振動検出器331及び第2振動検出器332の各々は、マイクロフォンである。第1振動検出器331及び第2振動検出器332の各々は、薄板円形状に形成され、直径が20mmである。
【0031】
支持体34は、載置板31を支持する。支持体34は、第1支持体341、第2支持体342、第3支持体343及び第4支持体344を有する。第1支持体341~第4支持体344の各々は、フェルトで円柱状に形成される。第1支持体341~第4支持体344の各々は、直径が32mmであり、厚みが5mmである。
【0032】
第1支持体341は、載置板31の第1端部を支持する。第1端部は、載置板31のX軸の負方向端であり、且つY軸の負方向端である端部を示す。第2支持体342は、載置板31の第2端部を支持する。第2端部は、載置板31のX軸の負方向端であり、且つY軸の正方向端である端部を示す。第3支持体343は、載置板31の第3端部を支持する。第3端部は、載置板31のX軸の正方向端であり、且つY軸の正方向端である端部を示す。第4支持体344は、載置板31の第4端部を支持する。第4端部は、載置板31のX軸の正方向端であり、且つY軸の負方向端である端部を示す。
【0033】
次に、
図1及び
図2を参照して、加振器32、振動検出器33及び支持体34の載置板31における配置について具体的に説明する。
図2(a)は、加振器32と振動検出器33と支持体34との載置板31における配置の一例を示す平面図である。
図2(b)は、加振器32と振動検出器33と支持体34との載置板31における配置の一例を示す側面図である。
【0034】
図2(a)及び
図2(b)に示すように、載置板31は矩形平板状に形成される。第1支持体341~第4支持体344の各々は、支持体34の周面が載置板31の長辺と短辺とに接するように配置される。すなわち、第1支持体341~第4支持体344の各々は、載置板31の四隅に配置される。
【0035】
加振器32は、第1支持体341の中心と第2支持体342との中心とを結ぶ直線上に加振器32の中心が位置するように配置される。第1振動検出器331は、第3支持体343の中心と第4支持体344との中心とを結ぶ直線上に第1振動検出器331の中心が位置するように配置される。第2振動検出器332は、第2支持体342の中心と第3支持体343との中心とを結ぶ直線上に第2振動検出器332の中心が位置するように配置される。
【0036】
次に、
図1~
図3を参照して、本発明の実施形態に係る制御部11の構成について説明する。
図3は、制御部11の構成の一例を示す図である。
図3に示すように、制御部11は、振動付与部111、振動取得部112、変換部113、生成部114、学習部115及び物体検出部116を備える。具体的には、制御部11のプロセッサ11Aが制御プログラムを実行することによって、制御部11は、振動付与部111、振動取得部112、変換部113、生成部114、学習部115及び物体検出部116として機能する。
【0037】
振動付与部111は、信号発生器21に対して加振器32が載置板31に音響振動を付与するように指示する。
【0038】
振動取得部112は、振動検出器33からオーディオインターフェース2を介して検出信号SGを取得する。
【0039】
変換部113は、検出信号SGに対してフーリエ変換を実行し、振幅スペクトルSPを生成する。具体的には、変換部113は、検出信号SGに対してFFT(Fast Fourier Transform)を実行し、振幅スペクトルSPを生成する。変換部113は、第1振幅スペクトルSP1と第2振幅スペクトルSP2とを生成する。第1振幅スペクトルSP1は、載置面SF上に物体BJが載置されていない場合の振幅スペクトルSPを示す。第2振幅スペクトルSP2は、載置面SF上に複数の物体BJの各々が載置されている場合の振幅スペクトルSPを示す。
【0040】
生成部114は、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づき、第3振幅スペクトルSP3を生成する。具体的には、生成部114は、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づき、第3振幅スペクトルSP3の推定スペクトルSP3Gを生成する。第3振幅スペクトルSP3は、載置面SF上に複数の物体BJが載置されている場合の振幅スペクトルSPを示す。
【0041】
学習部115は、第3振幅スペクトルSP3を学習する。具体的には、学習部115は、第3振幅スペクトルSP3の推定スペクトルSP3Gを学習する。
【0042】
物体検出部116は、振動検出器33の検出結果に基づいて、載置面SF上に載置される物体BJの状態STを検出する。具体的には、物体検出部116は、振動取得部112が取得した検出信号SGに基づいて、載置面SF上に載置される物体BJの状態STを検出する。また、物体検出部116は、検出結果をディスプレイ12に表示する。状態STは、位置PS、種類TP、姿勢PT及び内容量CPを含む。また、物体検出部116は、例えば、第3振幅スペクトルSP3に基づいて、複数の物体BJの各々の状態STを検出する。また、物体検出部116は、例えば、学習部115の学習結果に基づいて、複数の物体BJの各々の状態STを検出する。生成部114、学習部115及び物体検出部116については、後述にて、
図16~
図22を参照して詳細に説明する。
【0043】
物体検出部116が、載置面SF上に載置される1つの物体BJの位置PSを検出する場合については、後述にて
図5~
図7を参照して詳細に説明する。
物体検出部116が、載置面SF上に載置される1つの物体BJの種類TPを検出する場合については、後述にて
図8~
図11を参照して詳細に説明する。
物体検出部116が、載置面SF上に載置される1つの物体BJの姿勢PTを検出する場合については、後述にて
図12~
図13を参照して詳細に説明する。
物体検出部116が、載置面SF上に載置される1つの物体BJの内容量CPを検出する場合については、後述にて
図14~
図15を参照して詳細に説明する。
物体検出部116が、複数の物体BJの各々の位置PS及び種類TPを検出する場合については、後述にて
図16~
図22を参照して詳細に説明する。
【0044】
以上、
図1~
図3を参照して説明したように、本発明の実施形態では、加振器32が載置板31に振動を付与し、振動検出器33が載置板31の振動を検出し、振動検出器33の検出結果に基づいて、載置面SF上に載置される物体BJの状態STを検出する。よって、簡素な構成で物体BJの状態STを検出できる。したがって、物体検出装置100の製造コストを低減できる。
【0045】
また、振動検出器33の検出信号SGに対してフーリエ変換を実行し、振幅スペクトルSPを生成し、振幅スペクトルSPに基づいて、物体BJの状態STを検出する。したがって、簡素な構成で載置面SF上に載置される物体BJの状態STを更に正確に検出できる。
【0046】
また、振動検出器33が、互いに相違する位置に配置される第1振動検出器331と第2振動検出器332とを有する。よって、第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとに基づいて、載置面SF上に載置される物体BJの状態STが検出される。したがって、載置面SF上に載置される物体BJの状態STを正確に検出できる。
【0047】
なお、本発明の実施形態では、振動検出器33が、2つの振動検出器(第1振動検出器331及び第2振動検出器332)を有するが、本発明はこれに限定されない。振動検出器33が、1つ以上の振動検出器を有すればよい。振動検出器の個数が多い程、載置面SF上に載置される物体BJの状態STを正確に検出できる可能性がある。
【0048】
また、本発明の実施形態では、第1振動検出器331が第2位置P2に配置され、第2振動検出器332が第3位置P3に配置されるが、本発明はこれに限定されない。第1振動検出器331と第2振動検出器332とが互いに相違する位置に配置されていればよい。
【0049】
次に、
図1~
図4を参照して、加振器32に印加される音響振動について説明する。
図4は、加振器32に印加される音響振動の周波数Fの変化の一例を示す図である。
図4に示すグラフの横軸は時間Tを示し、グラフの縦軸は周波数Fを示す。
図4にグラフG1で示すように、加振器32に印加される音響振動の周波数Fは、1秒の期間内で20kHzから40kHzまで直線的に変化する。換言すれば、加振器32は、1秒の期間内において音響振動を載置板31に付与する。また、音響振動の周波数Fは、音響振動の載置板31への付与を開始した時点で20kHzであり、音響振動の載置板31への付与を終了する時点で40kHzになるように直線的に増加する。
【0050】
以上、
図1~
図4を参照して説明したように、本発明の実施形態では、加振器32は、時間Tの経過に応じて周波数Fが変化する振動を載置板31に付与する。よって、複数の周波数Fの振動を効率的に載置板31に付与できる。したがって、物体検出装置100による物体BJの状態STの検出に要する時間を削減できる。
【0051】
また、第1圧電素子が音響振動を載置板31に付与し、第2圧電素子が載置板31の音響振動を検出する。よって、更に簡素な構成で物体BJの状態STを検出できる。したがって、物体検出装置100の製造コストを更に低減できる。
【0052】
更に、状態STは、位置PS、種類TP、姿勢PT及び内容量CPを含むため、物体BJの位置PS、種類TP、姿勢PT及び内容量CPを検出できる。なお、物体BJの位置PSを検出する場合については、後述にて
図5~
図7を参照して詳細に説明する。物体BJの種類TPを検出する場合については、後述にて
図8~
図11を参照して詳細に説明する。物体BJの姿勢PTを検出する場合については、後述にて
図12~
図13を参照して詳細に説明する。物体BJの内容量CPを検出する場合については、後述にて
図14~
図15を参照して詳細に説明する。
【0053】
なお、本発明の実施形態では、加振器32は、音響振動を出力する第1圧電素子を有し、第1圧電素子が音響振動を載置板31に付与するが、本発明はこれに限定されない。加振器32が振動を載置板31に付与すればよい。換言すれば、加振器32が載置板31に付与する振動は、音響振動に限定されない。加振器32が、振動を出力する第1振動体を有し、第1振動体が、振動を載置板31に付与してもよい。例えば、振動子が水晶振動子である場合には、載置板31に付与される振動の周波数Fは、1~20MHzである。
【0054】
また、加振器32の第1振動体が、振動を載置板31に付与する場合には、振動検出器33は、振動を検出する第2振動体を有し、第2振動体が、載置板31の振動を検出することが好ましい。この場合には、第1振動体が振動を載置板31に付与し、第2振動体が載置板31の振動を検出する。よって、簡素な構成で物体BJの状態STを検出できる。したがって、物体検出装置100の製造コストを低減できる。
【0055】
また、本発明の実施形態では、加振器32は、時間Tに対して周波数Fが直線的に変化する振動を載置板31に付与するが、本発明はこれに限定されない。加振器32は、時間Tの経過に応じて周波数Fが変化する振動を載置板31に付与すればよい。例えば、周波数Fが低い程、所定時間(例えば、0,1秒)における周波数Fの変化が小さいように周波数Fが変化する振動を載置板31に付与してもよい。この場合には、低い周波数Fに対するFFTを正確に実行できる。
【0056】
また、本発明の実施形態では、状態STが、位置PS、種類TP、姿勢PT及び内容量CPを含むが、本発明はこれに限定されない。状態STが、位置PS、種類TP、姿勢PT及び内容量CPの少なくとも1つを含めばよい。
【0057】
<1つの物体BJの位置PSを検出する実験>
次に、
図1~
図7を参照して、載置面SFに載置された1つの物体BJの位置PSを物体検出装置100が検出する実験について説明する。
図5は、物体BJの位置PSを検出する実験方法の一例を示す図である。
図5に示すように、載置板31の載置面SFにおいて、載置面SFの幅方向(Y軸方向)の中心位置に物体BJを載置して、長手方向(X軸方向)に沿って移動した。物体BJとしては、一辺が44mmの立方体の積み木を用いた。
【0058】
具体的には、載置面SFに物体BJを載置しない場合の振幅スペクトルSPを生成した。また、中心線CL上を、載置面SFのX軸の負方向側の端部から30mmの位置から290mmの位置までの間を5mm間隔で物体BJを移動し、振幅スペクトルSPを生成した。すなわち、中心線CL上の長手方向(X軸方向)に沿った53個(=(290-30)÷5+1)の位置で、以下のようにして、振幅スペクトルSPを生成した。すなわち、振動付与部111が加振器32に対して載置板31に音響振動を付与させた。そして、振動取得部112が振動検出器33から検出信号SGを取得した。更に、変換部113が検出信号SGから振幅スペクトルSPを生成した。
【0059】
また、物体BJを載置しない場合と、53個の位置の各々に載置した場合とについて、それぞれ、12回の実験を行い、648個(=(53+1)×12)の振幅スペクトルSPを生成した。648個の振幅スペクトルSPを6つのグループに分割して、交差検証によって識別率を求めた。
【0060】
図6は、物体BJの位置PSと振幅スペクトルSPとの関係の一例を示す図である。
図6に示すグラフの横軸は周波数Fを示し、縦軸は振幅Bを示す。
図6に示すグラフG11は、載置面SFのX軸の負方向側の端部から95mmの位置に物体BJを載置した場合の振幅スペクトルSPを示す。
図6に示すグラフG12は、載置面SFのX軸の負方向側の端部から160mmの位置に物体BJを載置した場合の振幅スペクトルSPを示す。
図6に示すグラフG13は、載置面SFのX軸の負方向側の端部から225mmの位置に物体BJを載置した場合の振幅スペクトルSPを示す。
【0061】
図6に示すように、載置面SFのX軸の負方向側の端部からの距離が増加する程、周波数Fが37.5kHzでの振幅Bは減少した。また、載置面SFのX軸の負方向側の端部からの距離が増加する程、周波数Fが40kHz近傍での振幅Bは増加した。このように、載置面SFのX軸の負方向側の端部からの距離に応じて、振幅スペクトルSPが変化した。そこで、以下に
図7を参照して詳細に説明するように、物体検出装置100が、振幅スペクトルSPに基づいて、載置面SFに載置された1つの物体BJの位置PSを検出できることが判明した。
【0062】
次に、
図7を参照して、載置面SFに載置された1つの物体BJの位置PSを物体検出装置100が検出する実験の実験結果について説明する。
図7は、物体BJの位置PSの識別率の一例を示す図である。
図7に示すように、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合には、識別率は85.5%であり、平均絶対誤差が2.35mmであり、標準偏差が4.73mmであった。なお、「平均絶対誤差」は、物体BJの位置PSの検出結果における誤差の絶対値の平均値を示す。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合には、識別率は85.5%であり、平均絶対誤差が0.621mmであり、標準偏差が0.516mmであった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合には、識別率は89.2%であり、平均絶対誤差が0.377mmであり、標準偏差が0.411mmであった。
【0063】
以上、
図1~
図7を参照して説明したように、本発明の実施形態では、載置面SFに載置された1つの物体BJの位置PSを正確に検出できることが判明した。
【0064】
また、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合と比較して、第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の方が、平均絶対誤差及び標準偏差が小さく、物体BJの位置PSを更に正確に検出できることが判明した。この原因は、載置板31の長手方向の中心位置を通り幅方向に延びる中心線に対して、第1振動検出器331が加振器32と対称な位置に配置されているためであると推定される。
【0065】
また、第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合には、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合、及び、第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合と比較して、識別率が高く、物体BJの位置PSを更に正確に検出できることが判明した。
【0066】
<1つの物体BJの位置PSを検出する実験>
次に、
図1~
図4及び
図8~
図11を参照して、載置面SFに載置された1つの物体BJの種類TPを物体検出装置100が検出する実験について説明する。
図8は、物体BJの種類TPを検出する実験方法の一例を示す図である。
図8(a)は、物体BJの種類TPが「マグカップ」である場合の実験方法の一例を示す図である。
図8(a)では、「マグカップ」を物体BJAと記載している。
図8(b)は、物体BJの種類TPが「みかん」である場合の実験方法の一例を示す図である。
図8(b)では、「みかん」を物体BJBと記載している。
図8(a)及び
図8(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置に物体BJを載置して、物体BJの種類TPを変更した。
【0067】
具体的には、載置面SFに物体BJを載置しない場合の振幅スペクトルSPを生成した。また、
図9に示す26種類の物体BJの各々を載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置に物体BJを載置して、振幅スペクトルSPを生成した。更に具体的には、26種類の物体BJの各々を載置面SFの中心位置に載置して、以下のようにして、振幅スペクトルSPを生成した。すなわち、振動付与部111が加振器32に対して載置板31に音響振動を付与させた。そして、振動取得部112が振動検出器33から検出信号SGを取得した。更に、変換部113が検出信号SGから振幅スペクトルSPを生成した。
【0068】
また、載置面SFに物体BJを載置しない場合と、26種類の物体BJの各々を載置した場合とについて、それぞれ、12回の実験を行い、324個(=(26+1)×12)の振幅スペクトルSPを生成した。324個の振幅スペクトルSPを生成する実験(これを、「1セッションの実験」という)を3日間において1日当たり2回行い、1944個(=324×6)の振幅スペクトルSPを生成した。以下の説明において、324個の振幅スペクトルSPを生成する実験を、「1セッションの実験」という。1944個の振幅スペクトルSPを、6つのグループに分割して、交差検証によって識別率を求めた。
【0069】
6つのグループに分割する方法として、「ランダムに分割する方法」と、「セッション毎に方法」とについて交差検証によって識別率を求めた。「ランダムに分割する方法」とは、1944個の振幅スペクトルSPをランダムに6つのグループに分割する方法を示す。「セッション毎に分割する方法」とは、3日間において1日当たり2回行った6つのセッションの各々に分割することによって、6つのグループに分割する方法を示す。
【0070】
図9は、物体検出装置100が物体BJの種類TPを検出する実験に用いた物体BJの種類TPを示す。本発明の実施形態では、物体BJの種類TPとして、主に、机上に載置される物体BJと、冷蔵庫に収納される物体BJとを選定した。例えば、「はさみ」、「ペン」、「腕時計」及び「ノート」は、机上に載置される物体BJであり、「ポテト」、「みかん」、「りんご」及び「たまねぎ」は、冷蔵庫に収納される物体BJである。
【0071】
図10は、物体BJの種類TPと振幅スペクトルSPとの関係の一例を示す図である。
図10に示すグラフの横軸は周波数Fを示し、縦軸は振幅Bを示す。
図10に示すグラフG21は、物体BJとして「マグカップ」を載置面SFに載置した場合の振幅スペクトルSPを示す。
図10に示すグラフG22は、物体BJとして「ノート」を載置面SFに載置した場合の振幅スペクトルSPを示す。
【0072】
図10に示すように、周波数Fが2.1kHzと周波数Fが2.4kHzとにおいては、「マグカップ」を載置面SFに載置した場合の振幅スペクトルSPの振幅Bが、「ノート」を載置面SFに載置した場合の振幅スペクトルSPの振幅Bよりも大きい。また、周波数Fが2.25kHzにおいては、「マグカップ」を載置面SFに載置した場合の振幅スペクトルSPの振幅Bが、「ノート」を載置面SFに載置した場合の振幅スペクトルSPの振幅Bよりも小さい。そこで、以下に
図11を参照して詳細に説明するように、物体検出装置100が、振幅スペクトルSPに基づいて、載置面SFに載置された1つの物体BJの種類TPを検出できることが判明した。
【0073】
次に、
図11を参照して、物体検出装置100が物体BJの種類TPを検出する実験の実験結果について説明する。
図11は、物体BJの種類TPの識別率の一例を示す図である。
図11に示すように、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合において、「ランダムに分割」した場合の識別率は98.2%であり、「セッション毎に分割」した場合の識別率は87.9%であった。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合において、「ランダムに分割」した場合の識別率は95.5%であり、「セッション毎に分割」した場合の識別率は74.7%であった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合において、「ランダムに分割」した場合の識別率は98.9%であり、「セッション毎に分割」した場合の識別率は87.2%であった。
【0074】
以上、
図1~
図4及び
図8~
図11を参照して説明したように、本発明の実施形態では、載置面SFに載置された1つの物体BJの種類TPを正確に検出できることが判明した。
【0075】
また、第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率は、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率より高かった。すなわち、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成する場合よりも、第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成する場合の方が、物体BJの位置PSを更に正確に検出できることが判明した。
【0076】
また、第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率は、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率、及び、第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率より高かった。すなわち、第1振動検出器331及び第2振動検出器332の各々の検出信号SGを用いて振幅スペクトルSPを生成した場合よりも、第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の方が、物体BJの位置PSを更に正確に検出できることが判明した。
【0077】
また、「セッション毎に分割」する場合と比較して、「ランダムに分割」した場合の方が、識別率が高いことが判った。これは、振幅スペクトルSPは、実験が実施された環境温度の影響を受けるためであると推定される。すなわち、「セッション毎に分割」すると識別率が下がる理由は、交差検証における訓練事例集合と同一環境で測定した振幅スペクトルSPが交差検証におけるテスト事例集合に含まれないためである。訓練事例集合とは、交差検証において識別を行う際に事前に学習されるデータを示し、テスト事例集合とは、その際に実際に識別されるデータを示す。
【0078】
<1つの物体BJの姿勢PTを検出する実験>
次に、
図1~
図4及び
図12~
図13を参照して、載置面SFに載置された1つの物体BJの姿勢PTを物体検出装置100が検出する実験について説明する。
図12は、物体BJの姿勢PTを検出する実験方法の一例を示す図である。物体BJとしては、積み木BJCを用いた。
図12(a)は、積み木BJCが縦長に配置されている場合の実験方法の一例を示す図である。
図12(b)は、積み木BJCが横長に配置されている場合の実験方法の一例を示す図である。
図12(a)及び
図12(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置に物体BJを載置して、積み木BJCの姿勢PTを変更した。
【0079】
具体的には、
図12(a)に示すように、載置面SFの中央に積み木BJCを縦長に配置して、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した。積み木BJCは、正四角柱状に形成され、幅が44mmで、高さが90mmで、長さが44mmであった。
図12(a)では、積み木BJCの底面の一辺が44mmであり、他の一辺が44mmになるように積み木BJCを載置した。また、底面のうちの44mmの辺がY軸と平行になるように積み木BJCを載置した。次に、
図12(b)に示すように、載置面SFの中央に積み木BJCを横長に配置して、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した。
図12(b)では、積み木BJCの底面の一辺が44mmであり、他の一辺が90mmになるように積み木BJCを載置した。また、底面のうちの一方の辺がY軸と平行になるように積み木BJCを載置した。
【0080】
図13は、積み木BJCの姿勢PTと振幅スペクトルSPとの関係の一例を示す図である。
図13に示す横軸は周波数Fを示し、縦軸は振幅Bを示す。
図13に示すグラフG31は、積み木BJCを縦長に配置した場合の振幅スペクトルSPを示し、グラフG32は、積み木BJCを横長に配置した場合の振幅スペクトルSPを示す。
【0081】
図13に示すように、周波数Fが33kHzにおいて、積み木BJCを縦長に配置した場合の振幅スペクトルSPの振幅Bが、積み木BJCを横長に配置した場合の振幅スペクトルSPの振幅Bより大きかった。そこで、物体検出装置100が、振幅スペクトルSPに基づいて、載置面SFに載置された1つの物体BJの姿勢PTを検出できることが判明した。
【0082】
<1つの物体BJの内容量CPを検出する実験>
次に、
図1~
図4及び
図14~
図15を参照して、物体検出装置100が載置面SFに載置された物体BJの内容量CPを検出する実験について説明する。
図14は、物体BJの内容量CPを検出する実験方法の一例を示す図である。
図14では、物体BJは、コップBJDである。
図14(a)は、コップBJDに水が入っていない場合の実験方法の一例を示す図である。
図14(b)は、コップBJDに水が入っている場合の実験方法の一例を示す図である。コップBJDは、コップBJD1とコップBJD2とを含む。コップBJD1は、空のコップを示す。コップBJD2は、100mLの水が入っているコップを示す。
図14(a)及び
図14(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置にコップBJD1及びコップBJD2の各々を載置した。
【0083】
具体的には、
図14(a)に示すように、載置面SFの中央にコップBJD1を載置して、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した。次に、載置面SFの中央にコップBJD2を載置して、第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した。
【0084】
図15は、コップBJDの内容量CPと振幅スペクトルSPとの関係の一例を示す図である。
図15に示すグラフの横軸は周波数Fを示し、縦軸は振幅Bを示す。
図15に示すグラフG41は、コップBJD1を配置した場合の振幅スペクトルSPを示し、グラフG42は、コップBJD2を配置した場合の振幅スペクトルSPを示す。
【0085】
図15に示すように、周波数Fが28kHz~29kHzにおいて、コップBJD2を配置した場合の振幅スペクトルSPの振幅Bが、コップBJD1を配置した場合の振幅スペクトルSPの振幅Bよりも大きかった。そこで、物体検出装置100が、振幅スペクトルSPに基づいて、載置面SFに載置された1つの物体BJ(例えば、コップBJD)の内容量CPを検出するできることが判明した。
【0086】
<2つの物体BJの位置PSと種類TPとの検出>
次に、
図1~
図4及び
図16~
図20を参照して、2つの物体BJ(物体BJ1及び物体BJ2)が載置面SFに載置された場合において、物体BJ1及び物体BJ2の各々の位置PSと種類TPとを検出する処理について説明する。
【0087】
まず、下記のように第0態様、第1態様、第2態様及び第3態様を規定する。
第0態様:載置面SFに物体BJが載置されていない態様。
第1態様:載置面SFに第1物体BJ1だけが載置されている態様。
第2態様:載置面SFに第2物体BJ2だけが載置されている態様。
第3態様:載置面SFに第1物体BJ1と第2物体BJ2とが載置されている態様。
【0088】
外力によって物体BJを振動させる場合に、その状態は次の式(1)で示す運動方程式で表される。
M×U”+C×U’+K×U=P (1)
ここで、マトリックスMは、質量マトリックスを示し、マトリックスCは、減衰マトリックスを示し、マトリックスKは、剛性マトリックスを示す。ベクトルUは、変位ベクトルを示し、ベクトルPは外力ベクトルを示す。
【0089】
第0態様~第3態様の各々において、質量マトリックスM、減衰マトリックスC及び剛性マトリックスKは一定であるため、第0態様~第3態様の各々に対応する運動方程式は、次の式(2)~式(5)で表される。
M×U0”+C×U0’+K×U0=I (2)
M×U1”+C×U1’+K×U1=I+W1 (3)
M×U2”+C×U2’+K×U2=I+W2 (4)
M×U3”+C×U3’+K×U3=I+W1+W2 (5)
ここで、変位ベクトルU0は、第0態様における変位ベクトルを示し、変位ベクトルU1は、第1態様における変位ベクトルを示し、変位ベクトルU2は、第2態様における変位ベクトルを示し、変位ベクトルU3は、第3態様における変位ベクトルを示す。外力Iは、加振器32が載置面SFに付与する外力を示す。外力W1は、第1物体BJ1が載置面SFに付与する外力を示す。外力W2は、第2物体BJ2が載置面SFに付与する外力を示す。「”」は2階微分を示し、「’」は1階微分を示す。
【0090】
微分の線形性を考慮すると、式(2)~式(4)から次の式(6)(=式(4)+式(3)-式(2))が導出される。
M×(U2+U1-U0)”+C×(U2+U1-U0)’
+K×(U2+U1-U0)=I+W1+W2 (6)
式(5)と式(6)とを比較することによって、次の式(7)が得られる。
U3=U2+U1-U0 (7)
式(7)から、載置面SFに第1物体BJ1と第2物体BJ2とが載置されている場合の載置板31の変位は、以下のようにして求められる。すなわち、載置面SFに第1物体BJ1が載置されている場合の載置板31の変位と、載置面SFに第2物体BJ2が載置されている場合の載置板31の変位との和から、載置面SFに物体BJが載置されていない場合の載置板31の変位を減じることによって求められる。
【0091】
また、振幅スペクトルSPについても、式(7)と同様の関係が成立すると推定されるため、載置面SFに第1物体BJ1と第2物体BJ2とが載置されている場合の第3振幅スペクトルSP3を、
図16(a)及び
図16(b)を参照して、以下のようにして推定する。
【0092】
図16(a)は、第1振幅スペクトルSP1と、第4振幅スペクトルSP4と、第5振幅スペクトルSP5との生成方法の一例を示す図である。
図16(a)に示すように、第1振幅スペクトルSP1は、載置面SF上に物体BJが載置されていない場合の振幅スペクトルSPを示す。第4振幅スペクトルSP4は、載置面SFに第1物体BJ1だけが載置されている場合の振幅スペクトルSPを示す。第5振幅スペクトルSP5は、載置面SFに第2物体BJ2だけが載置されている場合の振幅スペクトルSPを示す。
【0093】
図16(b)は、第3振幅スペクトルSP3の推定方法の一例を示す図である。
図16(b)に示すように、
図4に示す生成部114は、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づき、第3振幅スペクトルSP3を生成する。具体的には、生成部114は、第4振幅スペクトルSP4と第5振幅スペクトルSP5との周波数F毎の振幅Bの和を示す和スペクトルSPSを生成する。そして、生成部114は、和スペクトルSPSと第1振幅スペクトルSP1との周波数F毎の振幅Bの差を第3振幅スペクトルSP3の推定スペクトルSP3Gとして生成する。「推定スペクトルSP3G」は、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づいて第3振幅スペクトルSP3を推定したスペクトルを示す。
【0094】
図16(c)は、第3振幅スペクトルSP3の生成方法の一例を示す図である。
図16(c)に示すように、載置面SFに第1物体BJ1と第2物体BJ2とが載置されている場合に、検出信号SGを
図4に示す振動取得部112が検出し、変換部113が、検出信号SGに対してフーリエ変換を実行し、第3振幅スペクトルSP3の実測スペクトルSP3Aを生成する。「実測スペクトルSP3A」は、検出信号SGに対してフーリエ変換を実行して生成された第3振幅スペクトルSP3を示す。第3振幅スペクトルSP3は、「推定スペクトルSP3G」と「実測スペクトルSP3A」とを含む。
【0095】
学習部115は、第3振幅スペクトルSP3を学習する。具体的には、学習部115は、推定スペクトルSP3Gを学習する。例えば、学習部115は、SVM(Support Vector Machine)によって推定スペクトルSP3Gを学習する。
【0096】
物体検出部116は、学習部115の学習結果に基づいて、物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2とを検出する。
【0097】
次に、
図17~
図19を参照して、制御部11の処理について説明する。
図17は、2つの物体BJの位置PSと種類TPとを検出する場合の制御部11の処理の一例を示すフローチャートである。
図17に示すように、ステップS101において、振動取得部112は、載置面SF上に物体BJが載置されていない場合の検出信号SGを振動検出器33から取得する。
次に、ステップS103において、生成部114は、第1振幅スペクトルSP1を生成する。
次に、ステップS105において、振動取得部112は、載置面SF上に第1物体BJ1が載置されている場合の検出信号SGを振動検出器33から取得する。
次に、ステップS107において、生成部114は、第4振幅スペクトルSP4を生成する。
【0098】
次に、ステップS109において、振動取得部112は、載置面SF上に第2物体BJ2が載置されている場合の検出信号SGを振動検出器33から取得する。
次に、ステップS111において、生成部114は、第5振幅スペクトルSP5を生成する。
次に、ステップS113において、生成部114は、第1振幅スペクトルSP1、第4振幅スペクトルSP4及び第5振幅スペクトルSP5に基づいて、推定スペクトルSP3Gを生成する。
次に、ステップS115において、制御部11は、「学習処理」を実行する。「学習処理」は、推定スペクトルSP3Gを学習する処理を示す。「学習処理」については、後述にて
図18を参照して詳細に説明する。
次に、ステップS117において、制御部11は、「検出評価処理」を実行し、処理が終了する。「検出評価処理」は、物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2とを検出し、検出結果を評価する処理を示す。「検出評価処理」については、後述にて
図19を参照して詳細に説明する。
【0099】
図18は、制御部11の「学習処理」の一例を示すフローチャートである。
図18に示すように、まず、ステップS201において、振動取得部112は、載置面SF上に第1物体BJ1と第2物体BJ2とが載置されている場合の検出信号SGを振動検出器33から取得する。
次に、ステップS203において、変換部113は、検出信号SGに対してFFTを実行し、実測スペクトルSP3Aを生成する。
次に、ステップS205において、学習部115は、推定スペクトルSP3Gを学習し、処理が
図17のステップS117にリターンする。
【0100】
図19は、制御部11の「検出評価処理」の一例を示すフローチャートである。
図19に示すように、まず、ステップS301において、載置面SF上に第1物体BJ1と第2物体BJ2とを載置して、振動取得部112が検出信号SGを振動検出器33から取得する。
次に、ステップS303において、変換部113は、検出信号SGに対してFFTを実行し、実測スペクトルSP3Aを生成する。
次に、ステップS305において、物体検出部116は、実測スペクトルSP3Aと、推定スペクトルSP3Gの学習結果とに基づいて、第1物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2とを検出する。
次に、ステップS307において、物体検出部116の検出結果を評価して、処理が終了する。
【0101】
<2つの物体BJの位置PSと種類TPとを検出する実験>
まず、実験方法について説明する。物体BJを載置する位置は、3箇所の位置うちのいずれか1つの位置であった。3箇所の位置とは、載置面SFの中心線CL上のX軸方向の端部から30mmの位置と、X軸方向の端部から160mmの位置とX軸方向の端部から290mmの位置とであった。物体BJの種類TPとして、机上に載置される物体BJと、冷蔵庫に収納される物体BJとを選定した。具体的には、机上に載置される物体BJとして、「マグカップ」と「ノート」と「ペン」との3つを選定し、冷蔵庫に収納される物体BJとして、「りんご」と「たまねぎ」と「みかん」とを選定した。以下では、「マグカップ」、「ノート」及び「ペン」の3種類の物体BJを用いる場合を、「机パターン」と記載し、「りんご」、「たまねぎ」及び「みかん」の3種類の物体BJを用いる場合を、「冷蔵庫パターン」と記載する。
【0102】
「机パターン」及び「冷蔵庫パターン」の各々について、3種類の物体BJのうちの1種類の物体BJを1つの位置に配置する9通りの場合について、それぞれ12回の実験を行い、108個(=9×12)の振幅スペクトルSPを生成した。1つの位置は、3箇所の位置のうちのいずれか1つの位置を示す。また、3種類の物体BJのうちの2種類の物体BJの各々を、1つの位置に配置する18通りの場合について、それぞれ12回の実験を行い、216個(=18×12)の振幅スペクトルSPを生成した。
【0103】
そして、3種類の物体BJのうちの2種類の物体BJを2つの位置に配置する18通りの場合の各々について、第3振幅スペクトルSP3の推定スペクトルSP3Gを学習した。そして、第3振幅スペクトルSP3の実測スペクトルSP3Aと、第3振幅スペクトルSP3の推定スペクトルSP3Gの学習結果とに基づいて、位置PS1、位置PS2、種類TP1及び種類TP2を検出し、検出結果を評価した。具体的には、交差検証によって位置PS1、位置PS2、種類TP1及び種類TP2の識別率を求めた。
【0104】
次に、
図20を参照して、2つの物体BJの位置PS及び種類TPを検出する実験の結果について説明する。
図20に示すように、「机パターン」での識別率は以下の通りであった。第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が86.1%であった。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が95.4%であった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率が96.8%であった。
【0105】
「冷蔵庫パターン」での識別率は以下の通りであった。第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が95.8%であった。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が97.2%であった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率が98.6%であった。
【0106】
このように、第1振動検出器331の検出信号SGのみを用いる場合、及び第2振動検出器332の検出信号SGのみを用いる場合と比較して、第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いることによって、高い識別率が得られた。
【0107】
以上、
図1~
図4及び
図16~
図20を参照して説明したように、本発明の実施形態では、振幅スペクトルSPの学習結果に基づいて、載置面SFに載置された複数の(ここでは、2つの)物体BJの状態ST(ここでは、位置PS及び種類TP)を検出する。したがって、載置面SF上に載置される複数の物体BJの状態STを更に正確に検出できる。
【0108】
更に、学習部115は、載置面SF上に第1物体BJ1と第2物体BJ2とが載置される場合の振幅スペクトルSPを、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づいて学習する。そして、物体検出部116は、学習部115の学習結果に基づいて、第1物体BJ1と第2物体BJ2との各々の状態ST(ここでは、位置PS及び種類TP)を検出する。したがって、第1物体BJ1と第2物体BJ2との各々の状態STを検出できる。
【0109】
また、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づき、第3振幅スペクトルSP3(具体的には、推定スペクトルSP3G)を生成する。第3振幅スペクトルSP3は、載置面SF上に第1物体BJ1と第2物体BJ2とが載置されている場合の振幅スペクトルSPを示す。学習部115は第3振幅スペクトルSP3を学習し、物体検出部116は、学習結果に基づいて、第1物体BJ1と第2物体BJ2との各々の状態ST(ここでは、位置PS及び種類TP)を検出する。したがって、簡素な構成で、第1物体BJ1と第2物体BJ2との各々の状態STを正確に検出できる。
【0110】
また、載置面SF上に第1物体BJ1が載置されている場合の振幅スペクトルSPを示す第4振幅スペクトルSP4と、載置面SF上に第2物体BJ2が載置されている場合の振幅スペクトルSPを示す第5振幅スペクトルSP5とを生成する。そして、第4振幅スペクトルSP4と第5振幅スペクトルSP5との周波数F毎の振幅Bの和を示す和スペクトルSPSを生成し、和スペクトルSPSと第1振幅スペクトルSP1との周波数F毎の振幅Bの差を第3振幅スペクトルSP3(具体的には、推定スペクトルSP3G)として生成する。更に、第3振幅スペクトルSP3を学習し、学習結果に基づいて、第1物体BJ1の位置PS1及び種類TP1と第2物体BJ2の位置PS2及び種類TP2とを検出する。したがって、簡素な構成で、第1物体BJ1の位置PS1及び種類TP1と第2物体BJ2の位置PS2及び種類TP2とを正確に検出できる。
【0111】
なお、本発明の実施形態では、第1物体BJ1の位置PS1及び種類TP1と第2物体BJ2の位置PS2及び種類TP2とを検出したが、本発明はこれに限定されない。第1物体BJ1の状態STと第2物体BJ2の状態STとを検出すればよい。
【0112】
<3つの物体BJの位置PSと種類TPとの検出>
次に、
図1~
図4及び
図21~
図22を参照して、3つの物体BJ(物体BJ1、物体BJ2及び物体BJ3)が載置面SFに載置された場合において、物体BJ1、物体BJ2及び物体BJ3の各々の位置PSと種類TPとを検出する処理について説明する。
【0113】
図1~
図4及び
図16~
図20を参照して、2つの物体BJ(物体BJ1及び物体BJ2)が載置面SFに載置された場合について、式(7)を導出したが、同様にして、次の(8)が得られる。
U4=U3+U2+U1-2×U0 (8)
ただし、変位ベクトルU4は、載置面SFに第1物体BJ1と第2物体BJ2と第3物体BJ3が載置されている状態における変位ベクトルを示し、変位ベクトルU3は、載置面SFに第2物体BJ2が載置されている状態における変位ベクトルを示す点で、式(7)と相違している。
【0114】
式(8)から、載置面SFに第1物体BJ1と第2物体BJ2と第3物体BJ3とが載置されている場合の変位は、以下のようにして求められる。すなわち、載置面SFに第1物体BJ1が載置されている場合の変位と、載置面SFに第2物体BJ2が載置されている場合の変位と、載置面SFに第3物体BJ3が載置されている場合の変位との和を求める。そして、3つの変位の和から載置面SFに物体BJが載置されていない場合の変位の2倍を減じることによって求められる。
【0115】
また、振幅スペクトルSPについても、式(8)と同様の関係が成立すると推定されるため、載置面SFに第1物体BJ1と第2物体BJ2と第3物体BJ3とが載置されている場合の第3振幅スペクトルSP3を、
図21を参照して、以下のようにして推定する。
【0116】
図21(a)は、第1振幅スペクトルSP1と、第4振幅スペクトルSP4と、第5振幅スペクトルSP5と、第6振幅スペクトルSP6との生成方法の一例を示す図である。
図21(a)に示すように、第1振幅スペクトルSP1は、載置面SF上に物体BJが載置されていない場合の振幅スペクトルSPを示す。第4振幅スペクトルSP4は、載置面SFに第1物体BJ1だけが載置されている場合の振幅スペクトルSPを示す。第5振幅スペクトルSP5は、載置面SFに第2物体BJ2だけが載置されている場合の振幅スペクトルSPを示す。第6振幅スペクトルSP6は、載置面SFに第3物体BJ3だけが載置されている場合の振幅スペクトルSPを示す。
【0117】
図21(b)は、第3振幅スペクトルSP3の推定方法の一例を示す図である。
図21(b)に示すように、
図4に示す生成部114は、第1振幅スペクトルSP1と、第2振幅スペクトルSP2とに基づき、第3振幅スペクトルSP3を生成する。具体的には、生成部114は、第4振幅スペクトルSP4と第5振幅スペクトルSP5と第6振幅スペクトルSP6との周波数F毎の振幅Bの和を示す和スペクトルSPSを生成する。そして、生成部114は、和スペクトルSPSと第1振幅スペクトルSP1の2倍の振幅Bの振幅スペクトルSPとの周波数F毎の振幅Bの差を第3振幅スペクトルSP3の推定スペクトルSP3Gとして生成する。
【0118】
図21(c)は、第3振幅スペクトルSP3の生成方法の一例を示す図である。
図21(c)に示すように、載置面SFに第1物体BJ1と第2物体BJ2と第3物体BJ3とが載置されている場合に、検出信号SGを
図4に示す振動取得部112が検出し、変換部113が、検出信号SGに対してフーリエ変換を実行し、第3振幅スペクトルSP3の実測スペクトルSP3Aを生成する。
【0119】
学習部115は、第3振幅スペクトルSP3を学習する。具体的には、学習部115は、推定スペクトルSP3Gを学習する。例えば、学習部115は、SVMによって推定スペクトルSP3Gを学習する。
【0120】
物体検出部116は、学習部115の学習結果に基づいて、物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2と、物体BJ3の位置PS3及び種類TP3とを検出する。
【0121】
<3つの物体BJの位置PSと種類TPとを検出する実験>
まず、実験方法について説明する。物体BJを載置する位置は、3箇所の位置うちのいずれか1つの位置であった。3箇所の位置とは、載置面SFの中心線CL上のX軸方向の端部から30mmの位置と、X軸方向の端部から160mmの位置と、X軸方向の端部から290mmの位置とであった。物体BJの種類TPとして、机上に載置される物体BJと、冷蔵庫に収納される物体BJとを選定した。具体的には、机上に載置される物体BJとして、「マグカップ」と「ノート」と「ペン」との3つを選定し、冷蔵庫に収納される物体BJとして、「りんご」と「たまねぎ」と「みかん」とを選定した。以下では、「マグカップ」、「ノート」及び「ペン」の3種類の物体BJを用いる場合を、「机パターン」と記載し、「りんご」、「たまねぎ」及び「みかん」の3種類の物体BJを用いる場合を、「冷蔵庫パターン」と記載する。
【0122】
「机パターン」及び「冷蔵庫パターン」の各々について、3種類の物体BJのうちの1種類の物体BJを1つの位置に配置する9通りの場合について、それぞれ12回の実験を行い、108個(=9×12)の振幅スペクトルSPを生成した。1つの位置は、3箇所の位置のうちのいずれか1つの位置を示す。また、3種類の物体BJの各々を、1つの位置に配置する6通りの場合について、それぞれ12回の実験を行い、72個(=6×12)の振幅スペクトルSPを生成した。
【0123】
そして、3種類の物体BJの各々を1つの位置に配置する6通りの場合の各々について、第3振幅スペクトルSP3の推定スペクトルSP3Gを学習した。そして、第3振幅スペクトルSP3の実測スペクトルSP3Aと、第3振幅スペクトルSP3の推定スペクトルSP3Gの学習結果とに基づいて、位置PS1、位置PS2、位置PS3、種類TP1、種類TP2及び種類TP3を検出し、検出結果を評価した。具体的には、交差検証によって識別率を求めた。
【0124】
次に、
図21を参照して、2つの物体BJの位置PS及び種類TPを検出する実験の結果について説明する。
図20に示すように、「机パターン」での識別率は以下の通りであった。第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が97.2%であった。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が98.6%であった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率が100%であった。
【0125】
「冷蔵庫パターン」での識別率は以下の通りであった。第1振動検出器331の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が91.7%であった。第2振動検出器332の検出信号SGを用いて振幅スペクトルSPを生成した場合の識別率が98.6%であった。第1振動検出器331の検出信号SGと第2振動検出器332の検出信号SGとを用いて振幅スペクトルSPを生成した場合の識別率が98.6%であった。
【0126】
以上、
図1~
図4及び
図21~
図22を参照して説明したように、本発明の実施形態では、第4振幅スペクトルSP4と、第5振幅スペクトルSP5と、第6振幅スペクトルSP6とを生成する。第4振幅スペクトルSP4は、載置面SF上に第1物体BJ1が載置されている場合の振幅スペクトルSPを示す。第5振幅スペクトルSP5は、載置面SF上に第2物体BJ2が載置されている場合の振幅スペクトルSPを示す。第6振幅スペクトルSP6は、載置面SF上に第3物体BJ3が載置されている場合の振幅スペクトルSPを示す。そして、和スペクトルSPSを生成する。和スペクトルSPSは、第4振幅スペクトルSP4と第5振幅スペクトルSP5と第6振幅スペクトルSP6との周波数F毎の振幅Bの和を示す。次に、差スペクトルSPDを生成する。差スペクトルSPDは、和スペクトルSPSと第1振幅スペクトルSP1との周波数F毎の振幅Bの差を示す。また、差スペクトルSPDと第1振幅スペクトルSP1との周波数F毎の振幅Bの差を第3振幅スペクトルSP3(具体的には、推定スペクトルSP3G)として生成する。更に、第3振幅スペクトルSP3を学習し、学習結果に基づいて、第1物体BJ1の状態ST1(ここでは、位置PS1及び種類TP1)と、第2物体BJ2の状態ST2(ここでは、位置PS2及び種類TP2)と、第3物体BJ3の状態ST3(ここでは、位置PS3及び種類TP3)とを検出する。したがって、簡素な構成で、第1物体BJ1の状態ST1と第2物体BJ2の状態ST2と第3物体BJ3の状態ST3とを正確に検出できる。
【0127】
なお、本発明の実施形態では、第1物体BJ1の位置PS1及び種類TP1と、第2物体BJ2の位置PS2及び種類TP2と、物体BJ3の位置PS3及び種類TP3とを検出したが、本発明はこれに限定されない。第1物体BJ1の状態STと第2物体BJ2の状態STと第3物体BJ3の状態ST3とを検出すればよい。
【0128】
以上、図面を参照しながら本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である(例えば、下記に示す(1)~(5))。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
【0129】
(1)本実施形態では、
図1を参照して説明したように、載置面SFが載置板31の上面であり、且つ載置板31が矩形のアクリル板であるが、本発明はこれに限定されない。載置板31は、載置面SFを有すればよい。例えば、載置板31が円形でもよいし、載置板31が金属製でもよい。
【0130】
(2)本実施形態では、
図1を参照して説明したように、加振器32が載置板31の下面に配置されるが、本発明はこれに限定されない。加振器32が載置板31に配置されればよい。例えば、加振器32が載置板31の載置面SFに配置されてもよい。
【0131】
(3)本実施形態では、
図1を参照して説明したように、振動検出器33が載置板31の下面に配置されるが、本発明はこれに限定されない。振動検出器33が載置板31に配置されればよい。例えば、振動検出器33が載置板31の載置面SFに配置されてもよい。
【0132】
(4)本実施形態では、
図1を参照して説明したように、制御部11がパーソナルコンピュータ1に配置されるが、物体検出装置100が制御部11を備えればよい。制御部11がタブレット端末装置に配置されてもよいし、制御部11がサーバー装置に配置されてもよい。
【0133】
(5)本実施形態では、
図9を参照して説明したように、物体BJが机上に載置される物体BJ又は冷蔵庫に収納される物体BJであるが、本発明はこれに限定されない。物体BJは、載置面SFに載置されればよい。例えば、物体BJが、棚に陳列される物体BJでもよい。
【産業上の利用可能性】
【0134】
本発明は、載置面上に載置される物体の状態を検出する物体検出装置に利用可能である。
【符号の説明】
【0135】
100 物体検出装置
1 パーソナルコンピュータ
11 制御部
11A プロセッサ
11B 記憶部
111 振動付与部
112 振動検出部
113 変換部
114 生成部
115 学習部
116 物体検出部
12 ディスプレイ
2 オーディオインターフェース
21 信号発生器
3 検出装置本体
31 載置板
32 加振器
33 振動検出器
331 第1振動検出器
332 第2振動検出器
34、341、342,343,344 支持体
BJ 物体
BJ1 第1物体
BJ2 第2物体
BJ3 第3物体
SF 載置面
ST 状態
PS 位置
TP 種類
PT 姿勢
CT 内容量
SP 振幅スペクトル
SP1 第1振幅スペクトル
SP2 第2振幅スペクトル
SP3 第3振幅スペクトル
SP4 第4振幅スペクトル
SP5 第5振幅スペクトル
SP6 第6振幅スペクトル
SPS 和スペクトル
SPD 差スペクトル
SG 音響信号