(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023111283
(43)【公開日】2023-08-10
(54)【発明の名称】行動支援用の音楽提供システム
(51)【国際特許分類】
A01K 29/00 20060101AFI20230803BHJP
【FI】
A01K29/00
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022013067
(22)【出願日】2022-01-31
(11)【特許番号】
(45)【特許公報発行日】2022-08-01
(71)【出願人】
【識別番号】000114488
【氏名又は名称】メック株式会社
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】田井 清登
(72)【発明者】
【氏名】足立 優司
(72)【発明者】
【氏名】岸本 宗真
(72)【発明者】
【氏名】濱口 秀司
(57)【要約】
【課題】乳幼児や非ヒト動物を管理者が希望する行動に誘導できるシステムを提供する。
【解決手段】行動支援用の音楽提供システムは、対象動物の行動状態と音楽特徴パラメータとの相関性が記録された第一データベースと、複数の音楽情報が記録された音源記憶部と、音楽特徴パラメータが音楽情報に対応付けられて記録された第二データベースと、第一データベースを参照して対象動物の目標行動状態に対する相関度が所定の第一閾値以上を示す候補音楽特徴パラメータを抽出する候補音楽特徴パラメータ抽出部と、第二データベースを参照して候補音楽特徴パラメータとの乖離が所定の第二閾値以下を示す音楽特徴パラメータを有する一以上の候補音楽情報を抽出する候補音楽抽出部と、候補音楽情報を用いて演算処理によって再生用音楽を作成する再生用音楽作成部と、再生用音楽を前記対象動物が存在する領域内に設けられたスピーカーに対して送信する音楽出力部を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
乳幼児又は非ヒト動物である対象動物の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性が、相関度の高低に応じて数値化されて記録された第一データベースと、
複数の音楽情報が記録された音源記憶部と、
前記音源記憶部に記録された前記音楽情報が有する前記音楽特徴パラメータに関する情報が、前記音楽情報に対応付けられて記録された第二データベースと、
前記対象動物の目標行動状態に関する情報の入力を受け付ける入力受付部と、
前記第一データベースを参照して、前記入力受付部において受け付けられた前記目標行動状態に対する前記相関度が所定の第一閾値以上を示す前記音楽特徴パラメータである候補音楽特徴パラメータを抽出する、候補音楽特徴パラメータ抽出部と、
前記第二データベースを参照して、前記候補音楽特徴パラメータとの乖離が所定の第二閾値以下を示す前記音楽特徴パラメータを有する前記音楽情報である、一以上の候補音楽情報を抽出する、候補音楽抽出部と、
前記音源記憶部から読み出された前記候補音楽情報を用いて、演算処理によって再生用音楽を作成する再生用音楽作成部と、
前記再生用音楽を、前記対象動物が存在する領域内に設けられたスピーカーに対して、電気通信回線を介して送信する音楽出力部と、を備えたことを特徴とする、行動支援用の音楽提供システム。
【請求項2】
前記対象動物のカテゴリー毎に、前記対象動物の前記行動状態と、前記対象動物の動作を複数の指標で分析して得られる動作パラメータとが関連付けられて記録された、第三データベースと、
前記対象動物の動作を検知する動作検知部と、
前記動作検知部における検知結果に基づいて、現状の前記対象動物の動作に対応する前記動作パラメータである現状動作パラメータを演算処理によって確定する、動作解析部と、
前記第三データベースを参照して、前記現状動作パラメータとの乖離度が所定の第三閾値以下である前記動作パラメータに関連付けられた前記対象動物の前記行動状態である現状行動状態を、前記乖離度と共に演算処理によって推定する行動状態推定部と、
前記対象動物の前記行動状態と前記音楽特徴パラメータとの相関性を前記第一データベースに登録する、行動音楽相関登録部とを備え、
前記候補音楽抽出部は、検証用に指定された値の前記音楽特徴パラメータを有する前記音楽情報である一以上の検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、前記検証音楽情報を用いて、演算処理によって前記再生用音楽を作成する機能を有し、
前記行動音楽相関登録部は、前記検証音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記検証音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録することを特徴とする、請求項1に記載の行動支援用の音楽提供システム。
【請求項3】
前記該当音楽抽出部は、検証用に指定された異なる複数の前記音楽特徴パラメータを有する、複数の前記検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、複数の前記検証音楽情報を用いて、演算処理によって連続的に複数の前記再生用音楽を作成する機能を有し、
前記音楽出力部は、前記再生用音楽作成部で作成された複数の前記再生用音楽を連続的又は断続的に出力し、
前記行動音楽相関登録部は、複数の前記再生用音楽が前記音楽出力部から出力されている間にわたって、前記行動状態推定部によって連続的に推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、複数の前記検証音楽情報のそれぞれが有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録することを特徴とする、請求項2に記載の行動支援用の音楽提供システム。
【請求項4】
前記行動音楽相関登録部は、前記候補音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記候補音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースを更新することを特徴とする、請求項2又は3に記載の行動支援用の音楽提供システム。
【請求項5】
前記候補音楽抽出部は、前記入力受付部が直前に前記目標行動状態に関する情報の入力を受け付けてから、所定時間以上経過後に、所定のタイミングで前記検証音楽情報を抽出することを特徴とする、請求項2~4のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項6】
前記動作検知部は、前記対象動物を撮像する動画カメラを含んで構成され、
前記動作解析部は、前記動画カメラから送信された動画データ上に映し出されている前記対象動物の連続画像を用いた演算処理によって前記対象動物の運動を解析し、前記現状動作パラメータを確定することを特徴とする、請求項2~5のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項7】
前記動作解析部は、少なくとも前記対象動物の顔又は身体の表面上に位置する複数の検知点の移動量及び移動方向を解析することで、前記現状動作パラメータを確定することを特徴とする、請求項6に記載の行動支援用の音楽提供システム。
【請求項8】
前記動作検知部に含まれる前記動画カメラと、前記音楽出力部から前記再生用音楽が送信される送信先である前記スピーカーとが、一体化されていることを特徴とする、請求項6又は7に記載の行動支援用の音楽提供システム。
【請求項9】
前記第一データベース、前記第二データベース、前記第三データベース、前記音源記憶部、前記入力受付部、前記候補音楽特徴パラメータ抽出部、前記該当音楽抽出部、前記音楽出力部、前記動作解析部、前記行動状態推定部、及び前記行動音楽相関登録部を搭載するサーバーを備え、
前記サーバーに対して通信可能な操作端末から入力された前記目標行動状態に関する情報が、電気通信回線を介して前記入力受付部に送信され、
前記サーバー内の前記音楽出力部から送信される前記再生用音楽が、電気通信回線を介して前記スピーカーから音響信号として出力されることを特徴とする、請求項2~8のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項10】
前記音楽特徴パラメータは、前記音楽情報が有するテンポ、周波数帯、音色、メロディ、ハーモニー、リズム、及び音圧のうちの少なくとも1種以上を含むことを特徴とする、請求項1~9のいずれか1項に記載の行動支援用の音楽提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乳幼児又は非ヒト動物に対する行動支援用の音楽提供システムに関する。
【背景技術】
【0002】
特に、留守中において飼い主はペットの動向が気になる場合がある。従来、ペット周辺にWebカメラとマイクを取り付けると共に、ペットにICチップを取り付けることで、ペットを遠隔監視する技術が知られている(例えば、特許文献1参照)。
【0003】
また、下記特許文献2には、乳児用ベッドに搭載された運動感知装置や音感知装置によって乳児が落ち着いていないかを判断し、乳児が落ち着いていない場合には乳児用ベッドを所定の周波数や振幅で物理的に揺動させる内容が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002-058378号公報
【特許文献2】特許第6053056号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1の技術は、あくまで離れた場所にいるペットの現状を確認することを主眼としたものである。このため、例えばペットが落ち着きなく鳴き続けている場合などにおいては、飼い主は不安な気持ちを維持したままペットの状態を確認することしかできないため、飼い主にとって十分なサービスが提供できているとはいえない。
【0006】
乳幼児や動物は、言語を用いてコミュニケーションを取ることが難しく、且つ知能も低いため、管理者(保護者・飼い主等)が説得して希望する行動状態に導くことは困難である。管理者が、何かしらの言動を取りながら、乳幼児や動物が管理者の希望する行動を取るまで観察し続けることは理論的には可能である。しかし、乳幼児や動物が実際に管理者の希望する行動をとるかどうかは運任せという側面があり、このような方法による場合には多大な時間がかかる上、管理者に対しても心理的なストレスを誘発するおそれがある。
【0007】
特許文献2の技術は、特に乳児に対するものであるが、あくまでベッドにて入眠させることを意図したものであり、管理者が他の行動(例えば喜ばせる等)を希望する場合には利用できない。更に、物理的な揺動機構が必要となり装置が大掛かりとなる上、その装置が搭載されたベッド上で乳児の入眠を誘導させることができるに留まる。すなわち、ベッドから起き上がり、床の上を歩いている乳児に対して、管理者が希望する行動を誘導することはできない。
【0008】
本発明は、上記の課題に鑑み、特に言語を用いたコミュニケーションを取るのが難しい、乳幼児や非ヒト動物に対して、複雑な装置機構を用いることなく、管理者が希望する行動に誘導することのできるシステムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る行動支援用の音楽提供システムは、
乳幼児又は非ヒト動物である対象動物の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性が、相関度の高低に応じて数値化されて記録された第一データベースと、
複数の音楽情報が記録された音源記憶部と、
前記音源記憶部に記録された前記音楽情報が有する前記音楽特徴パラメータに関する情報が、前記音楽情報に対応付けられて記録された第二データベースと、
前記対象動物の目標行動状態に関する情報の入力を受け付ける入力受付部と、
前記第一データベースを参照して、前記入力受付部において受け付けられた前記目標行動状態に対する前記相関度が所定の第一閾値以上を示す前記音楽特徴パラメータである候補音楽特徴パラメータを抽出する、候補音楽特徴パラメータ抽出部と、
前記第二データベースを参照して、前記候補音楽特徴パラメータとの乖離が所定の第二閾値以下を示す前記音楽特徴パラメータを有する前記音楽情報である、一以上の候補音楽情報を抽出する、候補音楽抽出部と、
前記音源記憶部から読み出された前記候補音楽情報を用いて、演算処理によって再生用音楽を作成する再生用音楽作成部と、
前記再生用音楽を、前記対象動物が存在する領域内に設けられたスピーカーに対して、電気通信回線を介して送信する音楽出力部と、を備えたことを特徴とする。
【0010】
本発明に係るシステムは、再生された音楽を対象動物に聴かせることにより、対象動物を管理者が所望する(目標とする)行動状態に誘導することを意図したものである。具体的には、候補音楽抽出部において抽出された音楽情報(以下、「候補音楽情報」と称する。)を用いて再生用音楽作成部において作成された再生用音楽が、スピーカーより出力され、対象動物の耳に聴覚信号として伝達される。
【0011】
対象動物としては、言語を通じたコミュニケーションが困難な、乳幼児及び非ヒト動物が想定される。非ヒト動物としては、ペット、家畜、動物園で飼育されている動物、又は保護された動物が想定される。これらの非ヒト動物としては、哺乳類及び鳥類が想定され、より具体的には、犬、猫、兎、鳥、牛、豚、鶏、馬などが想定され、好ましくは犬である。
【0012】
行動状態とは、対象動物が取る行動(運動)が現に示す、又は示すと客観的に評価できる、対象動物の心理状態を指す。例えば、楽しんでいる状態、落ち着いている状態、興奮している状態、等が対応する。
【0013】
第一データベースは、対象動物の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性を、相関度の高低に応じて数値化された情報として記録する。ここでいう、音楽特徴パラメータとは、例えば、テンポ、周波数帯、音色、音圧、メロディ、ハーモニー、及びリズムなどの要素が挙げられ、これらの少なくとも1つの要素が含まれているものとすることができる。また、その他の要素としては、オノマトペや特定の言語に対応するメタパラメータを採用することもできる。
【0014】
第一データベースは、上記の相関性に関する情報が事前に登録されたものである。音楽を分析して得られた音楽特徴パラメータとは、音楽を所定の指標で分析することで、例えばn種の指標ごとに数値化して得られる、n次元のベクトルとして表現されたものである。このベクトルをAiと規定すると、ベクトルAiで表記される音楽特徴パラメータを有する音楽が対象動物に聴かせられたとき、その対象動物がある行動状態Bjにどの程度誘導されやすいかという情報(αij)が、第一データベースに登録されている。この情報αijは、誘導のされやすさ、すなわち音楽特徴パラメータと対象動物の行動状態との相関性の高低に応じて数値化された値である。
【0015】
第一データベースは、対象動物のカテゴリー毎に上記の相関性に関する情報を登録していても構わない。ここで、対象動物のカテゴリーとは、動物種(ヒト、犬、猫、…)が挙げられるが、その他に、性別、年齢、同一動物種内の分類(例えば、犬であれば、柴犬、ヨークシャーテリア、プードル、…)を含んでいても構わない。
【0016】
音源記憶部は、複数の音楽情報が記録された記憶媒体である。ここでいう「音楽情報」とは、完全な楽曲であっても構わないし、楽曲が時間的に又は要素別に分解されてなる音データ(以下、「断片音」という。)であっても構わない。また、楽曲に限らず、環境音、人間の声、動物の鳴き声、等を含んでもよい。
【0017】
第二データベースは、音源記憶部に記録された音楽情報が有する音楽特徴パラメータに関する情報を、音楽情報に対応して記録する。なお、音源記憶部が第二データベースを兼用していても構わない。第二データベースは、必ずしも音源記憶部に記録された全ての音楽情報が有する音楽特徴パラメータに関する情報を記録している必要はない。例えば、音源記憶部に記録された音楽情報に、どのような音楽特徴パラメータが含まれているかを演算処理によって検索できる音楽特徴検索部を備え、この音楽特徴検索部が例えばバックグラウンド処理によって、音源記憶部に記録された音楽情報に含まれる音楽特徴パラメータを検索・確定し、第二データベースを更新するものとしてもよい。
【0018】
入力受付部は、対象動物の目標行動状態に関する情報の入力を受け付ける機能的手段である。例えば、保護者や飼い主等の、対象動物の行動状態の制御を希望する者(以下、「管理者」と総称する。)が、手元のコンピュータやスマートフォンといった操作端末を用いて、対象動物に対してどのような行動状態を希望するか、すなわち目標行動状態に関する情報を入力することができる。ここでいう目標行動状態とは、管理者が対象動物に対して所望する上記の「行動状態」である。つまり、目標行動状態は、「楽しませたい」、「落ち着かせたい」、「興奮させたい」といった内容に対応する。入力受付部は、例えば上記の操作端末を用いて管理者が指定した目標行動状態に関する情報を、システム側で受け付ける機能的手段である。
【0019】
入力受付部が管理者からの目標行動状態に関する情報の入力を受け付けると、候補音楽特徴パラメータ抽出部は、第一データベースを参照して、指定された目標行動状態Bjに対する相関度αijが高い、ベクトルAiで表記された音楽特徴パラメータを抽出する。ここで抽出された音楽特徴パラメータを、「候補音楽特徴パラメータ」と称する。
【0020】
候補音楽抽出部は、第二データベースを参照して、候補音楽特徴パラメータに対する類似性の高い音楽特徴パラメータを有する音楽情報を抽出する。抽出された候補音楽特徴パラメータがベクトルA1で表記されている場合において、第二データベース上で、全く同じベクトルA1で表記された音楽特徴パラメータを有する音楽情報が存在する場合には、その音楽情報が候補音楽情報として抽出される。一方、第二データベース上で、同一のベクトルA1で表記された音楽特徴パラメータを有する音楽情報が存在しない場合には、ベクトルA1からの乖離が相対的に小さい、ベクトルA2,A3,…が抽出される。この乖離の程度は、例えば、ベクトルAiを構成する座標軸毎の数値の差の合計値等の演算処理によって得られる値と、所定の閾値(第二閾値)との対比に応じて判断される。
【0021】
再生用音楽作成部は、上記によって抽出された候補音楽情報を用いて、演算処理によって再生用音楽を作成する機能的手段である。ここで、候補音楽情報として複数の音楽情報が選択された場合には、これらの候補音楽情報を音源記憶部から読み出すと共に、単に時間軸で直列的に接続することで再生用音楽を作成しても構わない。この場合に、一の候補音楽情報と別の候補音楽情報との間に、対象動物に対する行動への影響が極めて低いと評価される音楽特徴パラメータを有する音楽情報を組み込んでも構わない。
【0022】
また、抽出された候補音楽情報に対して、候補音楽特徴パラメータの値を逸脱しない範囲内で、別の音楽情報を重ね合わせることで、再生用音楽を作成しても構わない。この場合においても、対象動物に対する行動への影響が極めて低いと評価される音楽特徴パラメータを有する音楽情報を音源記憶部から読み出し、この読み出した音楽情報をバックグラウンド楽曲に設定しつつ、抽出された候補音楽情報をバックグラウンド楽曲に対して相対的に極めて高いゲインで重ね合わせることで、再生用音楽を作成しても構わない。
【0023】
更に、音楽情報が断片音である場合、再生用音楽作成部は、候補音楽情報と候補音楽特徴パラメータの情報に基づいて、人工知能によって楽曲を作曲しても構わない。
【0024】
このように作成された再生用音楽は、音楽出力部から、対象動物が存在する領域内に設けられたスピーカーに対して送信される。対象動物は、スピーカーから出力される音響信号を聴覚刺激として受け取る。
【0025】
この音響信号は、入力が受け付けられた目標行動状態に対して、相関性の高い音楽特徴パラメータを有する再生用音楽に基づく。このため、対象動物がこの音響信号を聴取すると、目標行動状態に近い行動状態に誘引されやすい。
【0026】
ところで、乳幼児や非ヒト動物が受ける可能性が考えられる刺激として、音刺激以外には、振動刺激、視覚刺激、又は嗅覚刺激が挙げられる。ここで、振動刺激によって乳児の行動を制御しようとするのが、上記特許文献2の技術である。しかし、上述したように、この技術の場合、大掛かりな装置が必要である上、適用場面が極めて限定的である。更に、異なるバリエーションの振動によって異なる行動に誘引することは難しく、誘導できる行動状態のバリエーションの種類が極めて少なくなってしまう。
【0027】
視覚刺激を用いて行動を誘導するためには、そもそも、顔の前で情報を提示する必要がある。また、対象動物が自由に移動する場合や睡眠中には、情報の提示が困難である。視覚刺激は、起きている対象動物をより覚醒させる作用は得られる可能性はあるものの、対象動物を落ち着かせたい場合や、眠らせたい場合には不向きである。
【0028】
嗅覚刺激に関しては、臭いを短時間で変更するということが現実的には困難である。このため、嗅覚刺激を用いて対象動物の行動をいくつかのバリエーションに誘導するということは、難しい。更に、特に人間の嗅覚はあまり優れていないため、乳幼児に対する行動支援には不向きであるし、逆に犬の嗅覚は優れすぎていて敏感なため、取扱いが難しいという課題もある。
【0029】
音刺激を用いる場合、振動刺激、視覚刺激、嗅覚刺激が有する上記の課題が顕在化しにくい。また、音情報は、対象動物と離れた場所のスピーカーから対象動物に対して届けることができるし、この音情報の出力開始/停止の制御についても管理者が離れた場所から行うことができるというメリットもある。
【0030】
更に、音刺激を用いる場合、上述した音楽特徴パラメータの異なる音楽情報を用いることで、多くのバリエーションを作りやすいという効果もある。このことは、管理者が、多くのバリエーションの行動状態の中から、希望する行動状態を選択して入力できることを意味する。
【0031】
なお、上記の構成によれば、行動状態への影響が想定される音楽特徴パラメータを有する音楽情報に基づいて、再生用音楽作成部が作成した再生用音楽がスピーカーから出力される。このため、異なるタイミングにおいて、管理者が同一の目標行動状態に関する情報を入力した場合、スピーカーから流れる再生用音楽は、この再生用音楽に含まれる音楽特徴パラメータが仮に同一であったとしても、再生用音楽自体は完全に一致した音楽である可能性は低い。また、再生用音楽に含まれる音楽特徴パラメータについても、あくまで目標行動状態に対する相関度が相対的に高い音楽特徴パラメータが抽出されるため、必ずしも完全には一致しない場合がある。このような事情によっても、異なるタイミングで流れる再生用音楽自体は完全に一致した音楽である可能性が低い。
【0032】
特に、対象動物が乳幼児である場合には、同一の楽曲を定期的に流すことで慣れが生まれ、期待される行動状態に導く効果が低下する可能性も考えられる。上記のシステムでは、同じ目標行動状態に誘導したい場合であっても、再生される音楽を異ならせることができるため、乳幼児を管理者が希望する目標行動状態に導く効果を維持できる。この点は、犬や猫といった非ヒト動物においても当てはまる可能性がある。
【0033】
前記音楽提供システムは、
前記対象動物のカテゴリー毎に、前記対象動物の前記行動状態と、前記対象動物の動作を複数の指標で分析して得られる動作パラメータとが関連付けられて記録された、第三データベースと、
前記対象動物の動作を検知する動作検知部と、
前記動作検知部における検知結果に基づいて、現状の前記対象動物の動作に対応する前記動作パラメータである現状動作パラメータを演算処理によって確定する、動作解析部と、
前記第三データベースを参照して、前記現状動作パラメータとの乖離度が所定の第三閾値以下である前記動作パラメータに関連付けられた前記対象動物の前記行動状態である現状行動状態を、前記乖離度と共に演算処理によって推定する行動状態推定部と、
前記対象動物の前記行動状態と前記音楽特徴パラメータとの相関性を前記第一データベースに登録する、行動音楽相関登録部とを備え、
前記候補音楽抽出部は、検証用に指定された値の前記音楽特徴パラメータを有する前記音楽情報である一以上の検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、前記検証音楽情報を用いて、演算処理によって前記再生用音楽を作成する機能を有し、
前記行動音楽相関登録部は、前記検証音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記検証音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録するものとしても構わない。
【0034】
第三データベースは、対象動物のカテゴリー毎に、対象動物の行動状態と、対象動物の動作を複数の指標で分析して得られる動作パラメータとを関連付けて登録している。対象動物のカテゴリーについては、上述した通りである。
【0035】
この第三データベースには、動物行動学、医学若しくは一般観察に基づく治験、又は実証試験等を通じて、予め得られているデータが登録されている。動作パラメータとは、対象動物の動作に伴って変化する対象動物に由来する値であり、例えば、顔や身体の表面の運動状況に関する値である。より詳細には、移動量、移動強度、移動方向、運動量、運動強度、運動方向、推定姿勢、推定表情等が挙げられ、動作パラメータは、これらに属する1種以上の指標で規定される。
【0036】
第三データベースは、例えば、対象動物が「乳幼児」、行動状態が「楽しい」である場合、移動量:0、移動強度:0、移動方向:0、手足運動量:20~40、手足運動強度:5~10、手足運動方向:-20~10、姿勢:仰向け、表情:smile といった動作パラメータが関連付けられている。このように、第三データベースには、対象動物のカテゴリー別に、対象動物の行動状態と動作パラメータとが関連付けられて記録されている。
【0037】
動作検知部は、対象動物の動作を検知する手段である。一例として、動作検知部は対象動物を撮像する動画カメラで構成される。この場合、動画カメラとスピーカーが一体化されていても構わない。その他の例として、動作検知部は、対象動物の運動を検知する加速度センサ、ジャイロセンサ、速度センサ等の各種センサで構成することもできる。
【0038】
動作解析部は、動作検知部で検知された対象動物の動作に基づいて、現状の対象動物の動作に対応する動作パラメータを演算処理によって確定する機能的手段である。例えば、動作検知部が対象動物を撮像する動画カメラを含んで構成されている場合、動作解析部は、動画カメラから送信された動画データ上に映し出されている対象動物の連続画像を用いた演算処理によって対象動物の運動を解析する。確定された動作パラメータを、「現状動作パラメータ」と称する。一例として、動作解析部は、対象動物の顔又は身体の表面上に位置する複数の検知点の移動量及び移動方向、移動速度、移動加速度等を解析することで、現状動作パラメータを確定する。
【0039】
行動状態推定部は、第三データベースを参照して、現状動作パラメータに対する類似度の高い動作パラメータに対応する行動状態を演算処理によって推定する機能的手段である。推定された行動状態を、「現状行動状態」と称する。
【0040】
上述したように、第三データベースには、対象動物のカテゴリー別に、対象動物の行動状態と動作パラメータとが関連付けられて記録されている。動作パラメータは、複数の指標に基づいて数値化されている。よって、例えば、第三データベースに登録されている動作パラメータと現状動作パラメータとを対比して、各指標別の数値の差の合計値等の演算処理によって得られる値と、所定の閾値(第三閾値)との対比に応じて、現状動作パラメータと各動作パラメータとの乖離度が算定できる。この乖離度が小さい値を示す動作パラメータに関連付けられた行動状態が、「現状行動状態」に対応する。
【0041】
候補音楽抽出部は、検証用に指定された値の音楽特徴パラメータを有する音楽情報である一以上の検証音楽情報を抽出する機能を有する。少なくとも、対象動物の行動状態と音楽との関連性の取得の初期段階においては、この検証音楽情報が用いられる。
【0042】
再生用音楽作成部は、検証音楽情報を用いて、演算処理によって再生用音楽を作成する機能を有する。作成された再生用音楽(以下では、便宜上「検証用音楽」と称する。)が、スピーカーから音響信号として出力され、対象動物に聴取される。
【0043】
検証用音楽が音楽出力部から出力が開始されると、対象動物は、この音楽の影響を大きく受けて、又はほとんど受けずに、何かしらの行動を起こす。なお、ここでいう「何かしらの行動」とは、「動きを伴う」行動に限定されず、その場でそのまま留まっているような「動きを伴わない」行動も含む概念である。検証音楽情報が有する音楽特徴パラメータが、対象動物に対して影響度が大きい場合には、音楽出力前と比べて動作の変化が大きくなることが想定される。動作解析部は、この検証用音楽が出力され始めてからの、動作検知部が検知した対象動物の動作に基づいて、現状の対象動物の動作に対応する動作パラメータ(すなわち、現状動作パラメータ)を確定する。行動状態推定部は、検証用音楽の元での現状動作パラメータに対して、相関性が比較的認められると想定される行動状態(すなわち、現状行動状態)を、相関度(乖離度)と共に推定する。推定された現状行動状態は、対象動物が検証用音楽を聴取することで導かれる可能性が一定程度は認められると想定される行動状態である。
【0044】
行動音楽相関登録部は、このように、検証用音楽が音楽出力部から出力が開始された後に、行動状態推定部によって推定された対象動物の現状行動状態を、乖離度に基づく相関度と共に、検証音楽情報が有する音楽特徴パラメータと関連付けて第一データベースに登録する。この結果、第一データベースには、検証用音楽の元となる検証音楽情報に含まれていた音楽特徴パラメータと、対象動物の行動状態との相関性が登録される。検証音楽情報を変更しながら、上記と同様の処理を継続することで、第一データベースの登録情報を増やすことができる。
【0045】
複数の検証音楽情報に基づいて作成された検証用音楽に基づいて、上記と同様の処理を行うことも可能である。すなわち、
前記該当音楽抽出部は、検証用に指定された異なる複数の前記音楽特徴パラメータを有する、複数の前記検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、複数の前記検証音楽情報を用いて、演算処理によって連続的に複数の前記再生用音楽を作成する機能を有し、
前記音楽出力部は、前記再生用音楽作成部で作成された複数の前記再生用音楽を連続的又は断続的に出力し、
前記行動音楽相関登録部は、複数の前記再生用音楽が前記音楽出力部から出力されている間にわたって、前記行動状態推定部によって連続的に推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、複数の前記検証音楽情報のそれぞれが有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録するものとしても構わない。
【0046】
前記行動音楽相関登録部は、前記候補音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記候補音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースを更新するものとしても構わない。
【0047】
特に対象動物が乳幼児の場合、その成長に伴って、再生された音楽に含まれる音楽特徴パラメータが、乳幼児の行動に与える影響の程度が変化する可能性も考えられる。上記の構成によれば、第一データベースへの初期段階における情報登録とは別に、管理者からの目標行動状態に関する情報の入力を受け付けた後であっても、第一データベースにおける情報が更新できる。つまり、対象動物が聴覚刺激を受けることによる、行動への影響の程度の直近の状況が、第一データベースに反映される。よって、この登録情報に基づいて作成された再生用音楽をスピーカーから流すことで、対象動物を目標行動状態により誘導しやすい。
【0048】
上述したように、検証音楽情報に基づいて作成された音楽(検証用音楽)を流し、このときの対象動物の現状行動状態を、検証音楽情報に含まれる音楽特徴パラメータと関連付けて第一データベースに登録するという処理は、第一データベースの作成段階、すなわち本システムの初期段階で行われる。ただし、この登録処理は、必ずしも初期段階に限定されるわけではなく、運用段階において行われても構わない。
【0049】
すなわち、前記候補音楽抽出部は、前記入力受付部が直前に前記目標行動状態に関する情報の入力を受け付けてから、所定時間以上経過後に、所定のタイミングで前記検証音楽情報を抽出するものとしても構わない。
【0050】
前記音楽提供システムは、前記第一データベース、前記第二データベース、前記第三データベース、前記音源記憶部、前記入力受付部、前記候補音楽特徴パラメータ抽出部、前記該当音楽抽出部、前記音楽出力部、前記動作解析部、前記行動状態推定部、及び前記行動音楽相関登録部を搭載するサーバーを備え、
前記サーバーに対して通信可能な操作端末から入力された前記目標行動状態に関する情報が、電気通信回線を介して前記入力受付部に送信され、
前記サーバー内の前記音楽出力部から送信される前記再生用音楽が、電気通信回線を介して前記スピーカーから音響信号として出力されるものとしても構わない。
【0051】
上記構成によれば、このシステムを利用するにあたって、対象動物が存在する空間には、最小限、対象動物の動作を検知する動作検知部(例えば動画像カメラ)と、再生用音楽を流すためのスピーカーとが設置されていればよい。更に、動画像カメラにスピーカー機能を搭載することで、対象動物が存在する空間に設置すべき装置の数を極めて少なくすることができる。つまり、上記構成によれば、このシステムの導入にあたって、物理的な制約を極めて小さくできる。
【発明の効果】
【0052】
本発明の音楽提供システムを適用することで、特に言語を用いたコミュニケーションを取るのが難しい乳幼児や非ヒト動物に対して、複雑な装置機構を用いることなく、管理者が希望する行動に誘導する効果が期待される。
【図面の簡単な説明】
【0053】
【
図1】本発明の行動支援用の音楽提供システムの構成例を模式的に示す機能ブロック図である。
【
図2】行動支援用の音楽提供システムにおいて、初期登録時の処理手順を模式的に示すフローチャートの一例である。
【
図3】行動支援用の音楽提供システムにおいて、利用時の処理手順を模式的に示すフローチャートの一例である。
【
図4】ある音楽の音楽特徴パラメータを説明するための模式的な図面である。
【
図5】行動支援用の音楽提供システムにおいて、利用時の手順を模式的に示すフローチャートの別の一例である。
【
図6】本発明の行動支援用の音楽提供システムの構成例を模式的に示す別の機能ブロック図である。
【
図7】本発明の行動支援用の音楽提供システムの構成例を模式的に示す別の機能ブロック図である。
【
図8】本発明の行動支援用の音楽提供システムの構成例を模式的に示す別の機能ブロック図である。
【
図9】本発明の行動支援用の音楽提供システムの構成例を模式的に示す別の機能ブロック図である。
【発明を実施するための形態】
【0054】
本発明に係る行動支援用の音楽提供システムの実施形態につき、図面を参照して説明する。この音楽提供システムは、音楽を利用して、言語を用いたコミュニケーションを取るのが難しい乳幼児や非ヒト動物を、管理者が希望する行動に誘導する用途に利用される。管理者としては、対象動物が乳幼児の場合には、乳幼児を寝かしつけたい、楽しませたい、おとなしくさせたい、といった要望を持つ保護者が例示される。また、対象動物が非ヒト動物の場合、管理者としては、ペットの飼い主、家畜の飼育員、ペットショップやペットホテルの店員、ブリーダー等が挙げられる。
【0055】
図1は、本発明の音楽提供システムの実施形態の構成の一例を模式的に示すブロック図である。なお、
図1以下の各図では、管理者3によって行動を誘導する対象となる動物(対象動物4)として、乳幼児とイヌが例示的に図示されている。
【0056】
本実施形態において、音楽提供システム1はサーバー51を備える。サーバー51は、各種の演算処理又は信号処理を行う処理領域10と、各種情報の記録を行う記憶領域30とを有している。
【0057】
処理領域10は、入力受付部11、候補音楽特徴パラメータ抽出部12、候補音楽抽出部13、再生用音楽作成部14、音楽出力部15、動作解析部21、行動状態推定部22、及び行動音楽相関登録部23を備えている。記憶領域30は、第一データベース31、第二データベース32、第三データベース33、及び音源記憶部35を備えている。
【0058】
後述するように、この音楽提供システム1は、第一データベース31に登録されている情報に基づいて抽出された音楽情報に基づいて再生用音楽作成部14が再生用の音楽を作成し、この音楽を対象動物4に聴取させる構成である。そのため、音楽提供システム1の運用においては、第一データベース31に情報を登録するフロー(典型的には初期登録フロー)と、実際に管理者3が対象動物4に対して希望する行動の内容を入力した上で実際に対象動物4に対して音楽を聴取させるフロー(利用フロー)とが存在する。
図2は、初期登録フローの内容を模式的に示すフローチャートであり、
図3は、利用フローの内容を模式的に示すフローチャートである。
【0059】
以下では、
図2及び
図3に示すフローチャート内のステップ番号を適宜参照しながら、
図1に示す音楽提供システム1の構成について説明を行う。
【0060】
音楽提供システム1は、構成要素の異なる音楽を対象動物4に聴取させると、対象動物4の行動に与える影響の程度やその影響の方向性が異なる傾向にあるという本発明者らの知見に基づいて、開発されたシステムである。言い換えれば、この音楽提供システム1を利用するにあたっては、予め対象動物4の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性が登録されている必要がある。この相関性に関する情報が第一データベース31に登録されている。
【0061】
図2に示すフローチャートは、第一データベース31に対して、上記相関性に関する情報を登録する手順の一例を示している。
【0062】
(ステップS1:検証音楽情報の抽出)
対象動物4の行動状態と音楽との間の相関性を分析するに際しては、対象動物4に対して何らかの音楽を聴取させる必要がある。このステップS1~S3は、この検証のために対象動物4に対して聴かせる音楽を決定するフローである。
【0063】
ステップS1の説明に先駆けて、音楽特徴パラメータについての説明を行う。
【0064】
音源記憶部35は、複数の音楽情報が記録された記憶領域である。ここでいう「音楽情報」とは、完全な楽曲であっても構わないし、楽曲が時間的に又は要素別に分解されてなる音データ(断片音)であっても構わない。また、楽曲に限らず、環境音、人間の声、動物の鳴き声、等を含んでもよい。
【0065】
第二データベース32は、音源記憶部35に記録された音楽情報が有する音楽特徴パラメータに関する情報を、音楽情報に関連付けられた状態で登録している。
【0066】
音楽特徴パラメータとは、音楽に含まれる要素を複数の指標で分析して得られ、例えば、指標がn種類であれば、n次元のベクトルとして表現される。一例として、指標には、テンポ、周波数帯、音色、音圧、メロディ、ハーモニー、及びリズム等が挙げられる。
図4は、No. 0000001によって特定される音楽情報について、上記7種の指標で分析された音楽特徴パラメータの例を模式的に示す図面である。
【0067】
図4に示す例では、7種類の音楽特徴パラメータ(テンポYA、周波数帯YB、音色YC、メロディYD、ハーモニーYE、リズムYF、及び音圧YG)ごとの評価値によって構成される座標によって、音楽情報を分類している。すなわち、この例では、7次元のベクトルによって音楽特徴パラメータが表現されている。
【0068】
図4に示す例では、No. 0000001によって特定される音楽情報は、テンポYA軸の値がa1、周波数帯YB軸の値がb1、音色YC軸の値がc1、メロディYD軸の値がd1、ハーモニーYE軸の値がe1、リズムYF軸の値がf1、音圧YG軸の値がg1である。
【0069】
ここで、テンポYA軸とは、当該音楽情報の速度に対応する。YA軸上の値とは、例えば当該音楽情報のbpmの値そのもの、又は基準となるbpmの値に対する相対値を採用することができる。
【0070】
周波数帯YB軸とは、当該音楽情報の最小周波数値と最大周波数値の範囲に対応する。YB軸上の値とは、例えば当該音楽情報の最小周波数値と最大周波数値の中間値又は平均値を採用することができる。
【0071】
音色YC軸とは、当該音楽情報の周波数の分布と周波数の変動状態に対応する。YC軸上の値とは、例えば、当該音楽情報について、周波数別の発現頻度(発現時間)を抽出し、発現頻度の最大値の1/2を超える周波数の種類数を採用することができる。
【0072】
メロディYD軸とは、音高(音の高さ)の結合によって形成された線的輪郭の形状に対応する。YD軸上の値とは、予め分類された複数の形状のうち、最も近い形状の種類に応じた値とすることができる。
【0073】
ハーモニーYE軸とは、音の垂直的結合の連続状態に対応する。YE軸上の値とは、例えば、同一のタイミング上で重なり合っている、異なる周波数の音情報に含まれる、周波数の種類数を、再生時間にわたって積分した値とすることができる。
【0074】
リズムYF軸とは、音の持続時間の列に対応する。YF軸上の値とは、例えば、スペクトルの周期性とすることができる。
【0075】
音圧YG軸とは、当該音楽情報の大きさに対応する。YG軸上の値とは、例えば当該音楽情報のdB(デシベル)の値そのもの、又は基準となるdBの値に対する相対値を採用することができる。
【0076】
なお、上記の説明では、音楽特徴パラメータを表現するための指標が7種類である場合が例示されているが、指標の数は7には限定されず、また、他の指標を有していても構わない。
【0077】
第二データベース32は、音源記憶部35に記録された音楽情報が有する上記のような音楽特徴パラメータに関する情報を、各音楽情報に関連付けた状態で登録している。言い換えれば、あるベクトルAiで表記された音楽特徴パラメータに対応する又は近似する音楽特徴パラメータを有する音楽情報Mcについて、第二データベース32を参照することで特定でき、この音楽情報Mcを音源記憶部35から読み出すこともできる。候補音楽抽出部13とは、指定された音楽特徴パラメータに対応する又は近似する音楽特徴パラメータを有する音楽情報Mcを、第二データベース32を参照して抽出する機能を有する、演算処理手段である。
【0078】
上述したように、対象動物4の行動状態と音楽との間の相関性を分析するに際しては、対象動物4に対して何らかの音楽を聴取させる必要がある。ここで、候補音楽抽出部13は、検証用として予め指定された値の音楽特徴パラメータを有する一以上の音楽情報を、第二データベース32を参照して抽出する。ここで抽出された音楽情報が「検証音楽情報」に対応する。
【0079】
候補音楽抽出部13が、指定された音楽特徴パラメータに基づいて、第二データベース32を参照して一以上の音楽情報を抽出する際の具体的な手法については限定されない。一例として、指定された音楽特徴パラメータがベクトルA1で表記されている場合において、第二データベース32上で、全く同じベクトルA1で表記された音楽特徴パラメータを有する音楽情報が存在する場合には、その音楽情報が検証音楽情報として抽出される。一方、第二データベース32上で、同一のベクトルA1で表記された音楽特徴パラメータを有する音楽情報が存在しない場合には、ベクトルA1からの乖離が相対的に小さい、ベクトルA2,A3,…が抽出される。この乖離の程度は、例えば、ベクトルAiを構成する座標軸毎の数値の差の合計値等の演算処理によって得られる値と、所定の閾値との対比に応じて判断される。
【0080】
(ステップS2:検証音楽情報を用いた再生用音楽の作成)
再生用音楽作成部14は、候補音楽抽出部13において抽出された音楽情報(ここでは、「検証音楽情報」に対応する。)を用いて、演算処理によって再生用音楽を作成する機能的手段である。
【0081】
音楽提供システム1では、音源記憶部35から読み出された音楽情報をそのまま再生するのではなく、この音楽情報に基づいて再生用音楽作成部14が再生用音楽を作成する。
【0082】
一例として、再生用音楽作成部14は、抽出された音楽情報(検証音楽情報)を音源記憶部35から読み出すと共に、この検証音楽情報が有する音楽特徴パラメータの値を大きく逸脱しない範囲内で、別の音楽情報を重ね合わせることで、再生用音楽を作成しても構わない。一例として、対象動物に対する行動への影響が極めて低いと評価される音楽特徴パラメータを有する音楽情報が、例えばバッググラウンド用の音楽としての重ね合わせに利用される。
【0083】
ただし、このステップS2は、あくまで初期登録時における処理である。このため、検証音楽情報が完全な楽曲である場合には、再生用音楽作成部14は音源記憶部35から読み出された音楽情報をほぼそのままの形で再生用音楽として出力してもよい。
【0084】
(ステップS3:再生用音楽をスピーカーに送信)
再生用音楽作成部14において作成された再生用音楽は、音楽出力部15から、対象動物4が存在する領域内に設けられたスピーカー8に対して送信される。音楽出力部15は、再生用音楽作成部14において作成された再生用音楽を、送信可能なデータ形式に変換する処理手段である。
【0085】
音楽出力部15から送信された再生用音楽に関する情報は、電気通信回線50を介してスピーカー8に送信される。なお、
図1では、スピーカー8とサーバー51とが直接的に接続可能であるように図示されているが、これは一例である。例えば、別体の装置(不図示)とサーバー51とが電気通信回線50を介して接続され、この装置側で受信された再生用音楽が、装置から有線又は無線通信(例えばBluetooth(登録商標)等)によってスピーカー8に出力される構成であっても構わない。
【0086】
スピーカー8からは、再生用音楽作成部14において作成された再生用音楽、より詳細には、ステップS1で検証用に指定された音楽特徴パラメータを有する検証音楽情報に基づく再生用音楽が再生される。
【0087】
(ステップS4:対象動物4が音楽を聴取)
スピーカー8は、対象動物4が存在する領域内に設けられている。このため、ステップS3で送信された再生用音楽が、スピーカー8から音響信号として出力され、対象動物4に聴取される。
【0088】
(ステップS5:対象動物4の動作検知)
ステップS4で再生される音楽は、上述したようにあくまで検証用に指定された音楽特徴パラメータを有する検証音楽情報に基づくものである。このため、ステップS3で再生されている音楽が、対象動物4の行動に対して強く影響を及ぼすか、ほとんど影響を及ぼさないかといったことや、どのような内容の影響を及ぼすかといった内容については、現時点では音楽提供システム1側では把握できていない。
【0089】
そこで、対象動物4に対して与える影響の内容や程度を検知するために、音楽提供システム1は動作検知部9を備えている。一例として、動作検知部9は対象動物4を撮像する動画カメラである。この動画カメラが搭載されているデバイスは任意であり、例えば、スマートフォン、コンピュータ、防犯カメラ、ペットモニタ/ベビーモニタ等が想定される。他の一例として、動作検知部9は対象動物4に取り付けられた加速度センサである。動作検知部9による対象動物4の動作の検知結果は、音楽提供システム1が備える動作解析部21に送信される。
【0090】
(ステップS6:現状動作パラメータの確定)
図1に示す音楽提供システム1は、サーバー51の処理領域10内に動作解析部21を有する。動作解析部21は、動作検知部9で検知された対象動物4の動作に基づいて、現状の対象動物4の動作に対応する動作パラメータを演算処理によって確定する機能的手段である。
【0091】
動作パラメータとは、対象動物4の動作に伴って変化する、対象動物4に由来する値であり、例えば顔や身体の表面の運動状況に関する値である。より詳細には、移動量、移動強度、移動方向、運動量、運動強度、運動方向、推定姿勢、推定表情等が挙げられ、動作パラメータは、これらに属する1種以上の指標で規定される。なお、ここでいう「移動」は、対象動物4の存在する位置自体が変化する動作を指し、「運動」は対象動物4の存在する位置自体に変化はないものの、その場で対象動物4の身体の一部の向きや位置が変化する動作を指している。例えば、乳児がハイハイしながら歩くのは「移動」であり、イヤイヤしながら手足をばたつかせるのは概ね「運動」である。ただし、移動と運動(ここでは上記の定義による狭義の運動を指す)を含めて、広義の「運動」としてもよい。この場合、動作解析部21では、広義の運動に関する量、速度、方向に関する分析が行われるものとしても構わない。
【0092】
動作検知部9が動画カメラである場合、動作解析部21は動画カメラから送信された動画データ上に映し出されている対象動物4の連続画像に基づく演算処理によって、対象動物4の運動をエッジ又はバックエンドで解析する。
【0093】
上に例示した指標は、それぞれ以下の方法で解析することが可能である。
・移動量:SSD等のコンピュータビジョン(以下、「CV」と称する。)によって、再生用音楽がスピーカー8から出力されている時間フレーム内における対象動物4の検知ボックス移動距離(ピクセル)を算出する。
・移動強度:CVによるピクセル移動速度・加速度を算出する。
・移動方向:CVによるピクセル移動ベクトル向きを算出する。
・運動量:対象動物4の全身及び部位ごとの検知ボックス移動距離(ピクセル)を算出する。
・運動強度:対象動物4の全身及び部位ごとのピクセル移動速度・加速度を算出する。
・運動方向:対象動物4の全身及び部位ごとのピクセル移動ベクトル向きを算出する。
・推定姿勢:CVによる対象動物4の画像を姿勢学習モデルを用いた機械学習により姿勢推定を行う。
・推定表情:CVによる対象動物4の画像を表情学習モデルを用いた機械学習により表情推定を行う。
【0094】
動作解析部21は、上記のように動作検知部9から得られた検知結果を解析することで、現状の対象動物4の動作に対応する動作パラメータを確定する。確定された動作パラメータは、「現状動作パラメータ」に対応する。
【0095】
(ステップS7:現状行動状態の推定)
図1に示す音楽提供システム1は、サーバー51の処理領域10内に行動状態推定部22を有する。行動状態推定部22は、第三データベース33を参照して、現状動作パラメータに対する類似度の高い動作パラメータに対応する行動状態(現状行動状態)を演算処理によって推定する機能的手段である。
【0096】
第三データベース33は、対象動物4のカテゴリー毎に、対象動物4の行動状態が、対象動物4の動作パラメータに対して関連付けられた状態で登録されている。典型的には、第三データベース33には、動物行動学、医学若しくは一般観察に基づく治験、又は実証試験等を通じて予め得られたデータが登録されている。一例として、対象動物4が「乳幼児」、行動状態が「楽しい」である場合、移動量:0、移動強度:0、移動方向:0、手足運動量:20~40、手足運動強度:5~10、手足運動方向:-20~10、姿勢:仰向け、表情:smileといった動作パラメータが関連付けられている。このように、対象動物4のカテゴリー別に、行動状態と動作パラメータとが関連付けられた状態で、第三データベース33に登録されている。
【0097】
行動状態推定部22は、動作解析部21で確定された現状動作パラメータと、第三データベース33に登録されている各動作パラメータとの対比を行い、現状動作パラメータに対する類似度の高い動作パラメータに対応する行動状態を演算処理によって推定する。例えば、類似度を、動作パラメータに対応するワンホットベクトル又は数値そのものの類似度(コサイン類似度解析等)により数値化した上で、この数値に基づいて現状動作パラメータと各動作パラメータとの乖離度が算定できる。この乖離度が小さい値を示す動作パラメータに関連付けられた行動状態が、「現状行動状態」に対応する。行動状態推定部22において推定された現状行動状態は、対象動物4が検証用音楽を聴取することで導かれる可能性が一定程度は認められると想定される行動状態である。
【0098】
(ステップS8:相関性を第一データベース31に登録)
図1に示す音楽提供システム1は、サーバー51の処理領域10内に行動音楽相関登録部23を有する。行動音楽相関登録部23は、行動状態推定部22による現状行動状態の推定結果を、スピーカー8より流された検証用音楽を構成する検証音楽情報が有する音楽特徴パラメータと関連付けて、第一データベース31に登録する。その際に、現状行動状態と音楽特徴パラメータとの相関度に関する情報も、併せて関連付けられた状態で登録される。
【0099】
検証音楽情報を変更しながら、ステップS1~S8が複数回実行されることで、第一データベース31の登録情報を増やすことができる。
【0100】
上記ステップS1~S8を経て、第一データベース31には、対象動物4の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性が、相関度の高低に応じた数値化された情報として登録される。このような状態の下で、管理者3が音楽提供システム1を用いて、対象動物4を所望する(目標とする)行動状態に誘導する処理フローについて、
図3を参照して参照する。
【0101】
(ステップS11:目標行動状態の入力受付け)
管理者3は、操作端末6を通じて、対象動物4に対して誘導したい行動状態(目標行動状態)に関する情報を入力する。目標行動状態は、「楽しませたい」、「落ち着かせたい」、「興奮させたい」といった内容に対応する。操作端末6としては、スマートフォンやタブレットPCなどの汎用通信機器を利用できる。この場合、前記汎用通信機器にインストールされた専用のアプリケーションを通じて、目標行動状態に関する情報が入力可能に構成されているものとしても構わない。
【0102】
図1に示す音楽提供システム1は、入力受付部11を有する。入力受付部11は、操作端末6を通じて入力された目標行動状態に関する情報を、サーバー51側で受け付ける機能的手段である。
【0103】
(ステップS12:候補音楽特徴パラメータの抽出)
図1に示す音楽提供システム1は、候補音楽特徴パラメータ抽出部12を有する。候補音楽特徴パラメータ抽出部12は、第一データベース31を参照して、入力受付部11が入力を受け付けた目標行動状態に対する相関度の高い音楽特徴パラメータを抽出する機能的手段である。
【0104】
図2を参照して上述したように、第一データベース31には、対象動物4の行動状態と、音楽に含まれる音楽特徴パラメータとの相関性が既に登録されている。よって、候補音楽特徴パラメータ抽出部12は、第一データベース31を参照して、指定された目標行動状態に対する相関度が高い音楽特徴パラメータを抽出することができる。このステップS12において抽出された音楽特徴パラメータは、「候補音楽特徴パラメータ」に対応する。
【0105】
(ステップS13:候補音楽情報の抽出)
図1に示す音楽提供システム1は、候補音楽抽出部13を有する。候補音楽抽出部13は、第二データベース32を参照して、ステップS12で特定された候補音楽特徴パラメータに対する類似性の高い音楽特徴パラメータを有する音楽情報を抽出する機能的手段である。
【0106】
ステップS1の箇所で上述したように、第二データベース32は、音源記憶部35に記録された音楽情報が有する音楽特徴パラメータに関する情報を、音楽情報に関連付けられた状態で登録している。このため、候補音楽抽出部13は、特定された候補音楽特徴パラメータと、第二データベースに登録されている各音楽情報別の音楽特徴パラメータとを対比し、類似性の高い音楽特徴パラメータを有する音楽情報を抽出することができる。
【0107】
音楽特徴パラメータ同士の類似性の対比は、各音楽特徴パラメータを構成するベクトルの成分毎の対比結果に基づいて行われるものとしても構わないし、各ベクトルが構成するn次元(成分数がnの場合)の空間の形状の相似性や近似性に基づいて行われるものとしても構わない。いずれの場合においても、数値的な演算処理によって、候補音楽特徴パラメータに対して類似性の高い音楽特徴パラメータを有する音楽情報の抽出が可能である。
【0108】
このステップS13において抽出された音楽情報は、「候補音楽情報」に対応する。なお、ここで抽出された候補音楽情報は、2以上の音楽情報を含んでいても構わない。
【0109】
(ステップS14:候補音楽情報を用いた再生用音楽の作成)
再生用音楽作成部14は、候補音楽抽出部13において抽出された音楽情報(ここでは、「候補音楽情報」に対応する。)を用いて、演算処理によって再生用音楽を作成する。候補音楽抽出部13において抽出された音楽情報に基づく再生用音楽の作成方法に関しては、ステップS2と共通するため、その説明が割愛される。
【0110】
(ステップS15:再生用音楽をスピーカーに送信)
ステップS3と同様に、再生用音楽作成部14において作成された再生用音楽は、音楽出力部15から、対象動物4が存在する領域内に設けられたスピーカー8に対して送信される。
【0111】
(ステップS16:対象動物4が音楽を聴取して動作)
スピーカー8は、対象動物4が存在する領域内に設けられている。このため、ステップS4と同様、再生用音楽がスピーカー8から音響信号として出力され、対象動物4に聴取される。
【0112】
ただし、ステップS4とは異なり、このステップS16で再生される音響信号は、入力が受け付けられた目標行動状態に対して、相関性の高い音楽特徴パラメータを有する再生用音楽に基づく。このため、対象動物4は、この音響信号を聴取すると、目標行動状態に近い行動状態に誘引されやすい。ステップS14~S15、又はステップS13~S15が繰り返し実行されることで、対象動物4は管理者3が指定した目標行動状態に対してより誘導されやすくなる可能性が高い。
【0113】
なお、管理者3が入力した目標行動状態に関する情報に基づいて、対象動物4を誘導する処理中であっても、初期登録時と同様に、第一データベース31に対して情報の登録(更新)を行っても構わない。この場合の処理フローについて、
図5を参照して説明する。
【0114】
(ステップS17:対象動物4の動作検知)
ステップS16においてスピーカー8から音響信号が出力されている間、対象動物4に対する影響を分析するために、ステップS5と同様に、動作検知部9が対象動物4の動作を検知する。この検知結果は動作解析部21に送信される。
【0115】
(ステップS18:現状動作パラメータの確定)
ステップS6と同様の方法により、動作解析部21は、動作検知部9で検知された対象動物4の動作に基づいて、対象動物4の現状動作パラメータを演算処理によって確定する。
【0116】
(ステップS19:現状行動状態の推定)
ステップS7と同様の方法により、行動状態推定部22は、第三データベース33を参照して、現状動作パラメータに対する類似度の高い動作パラメータに対応する行動状態(現状行動状態)を演算処理によって推定する。理想的には、推定された現状行動状態は、管理者5によって入力された目標行動状態に一致する。しかし、推定された現状行動状態と、目標行動状態との間には、乖離が生じている可能性もある。言い換えると、乖離度の値が、第一データベース31への登録段階と比べて変化している可能性が考えられる。本ステップS19では、ステップS7と同様に、現状行動状態と共に、現状動作パラメータと各動作パラメータとの乖離度が算定される。
【0117】
(ステップS20:相関性を第一データベース31に反映)
行動音楽相関登録部23は、ステップS8と同様の手法にて、行動状態推定部22による現状行動状態の推定結果を、スピーカー8より流れている再生用音楽に含まれる音楽特徴パラメータ、すなわち候補音楽特徴パラメータに対して関連付けて、第一データベース31に登録する。ただし、第一データベース31には、候補音楽特徴パラメータとして選択された音楽特徴パラメータに対しては、予め所定の行動状態が、理想的には管理者3によって指定された目標行動状態が、高い相関性を有する状態で登録されている。ステップS19で推定された現状行動状態が目標行動状態である場合には、本ステップS20では、相関性に関する指標(乖離度)の情報が更新される。
【0118】
仮に、ステップS19で推定された現状行動状態が目標行動状態と異なっている場合には、本ステップS20では、候補音楽特徴パラメータとして選択された音楽特徴パラメータに対応する行動状態として、現状行動状態が上書きされた上、相関性に関する指標(乖離度)の情報が更新されるものとしても構わない。なお、この場合には、何かしらの事情により対象動物4の傾向が変化したことが推定されるため、運用モードをいったん停止した上で、ステップS1~S8の実行に遷移して、第一データベース31に対する更新登録処理を行うものとしても構わない。この場合、必要に応じて、管理者3の操作端末6に対してその旨の情報を送信しても構わない。
【0119】
[別実施形態]
以下、別実施形態について説明する。
【0120】
〈1〉上述したステップS1~S8は、第一データベース31に対して対象動物4の行動状態と音楽特徴パラメータとの相関性を初期段階で登録する際のステップであるものとして説明した。しかし、初期段階に限らず、ステップS11~S16が実行されていないタイミングにおいて、定期的に、又は管理者3が指示したタイミングで、ステップS1~S8が実行されるものとしても構わない。これにより、対象動物4の直近の傾向が反映された形で、対象動物4の行動状態と音楽特徴パラメータとの相関性が第一データベース31に登録される。
【0121】
〈2〉
図6に例示されるように、対象動物4が存在する空間内に、動作検知部9とスピーカー8とが一体化された装置9aが設置されていても構わない。一例として、この装置9aとしては、配信される音楽を再生して出力するスピーカー8と、所定の視野角範囲内を動画像データとして撮像可能な動画カメラからなる動作検知部9とが一体化された、スマートフォン等を初めとするデバイスが挙げられる。
【0122】
〈3〉
図7に例示されるように、演算処理又は信号処理を行う処理領域10及び各種情報の記録を行う記憶領域30は、スピーカー8と共に、対象動物4が存在する空間内に存在していても構わない。この構成の場合、必ずしもサーバー51は必要ではなく、全ての処理が例えば対象動物4が存在する空間内で行われる。
【0123】
図7に示す例では、スピーカー8を含む音楽提供システム1専用の装置60が対象動物4が存在する空間内に設置される。この装置60は、管理者3が保有する操作端末6や、動作検知部9との間では、電気通信回線50を介した情報の授受が可能に構成されている。
【0124】
この構成においても、
図6を参照して上述したのと同様に、動作検知部9とスピーカー8とを一体化しても構わない(
図8参照)。なお、この装置61側に操作ボタンを設けることで、実行の際に操作端末6自体も不要となり、完全にスタンドアロンなシステムとして構築することも可能である。
【0125】
〈4〉
図1を参照して上述した音楽提供システム1は、第一データベース31に情報を登録する処理と、実際に管理者3が対象動物4に対して希望する行動の内容を入力した上で実際に対象動物4に対して音楽を聴取させるために行われる処理とが、同一のサーバー51において行われるものとした。しかし、
図9に例示されるように、両者の処理がそれぞれ別のサーバー(51,52)で行われても構わない。この場合、サーバー52に設けられた行動音楽相関登録部23が、電気通信回線50を介してサーバー51にアクセスし、第一データベース31の登録や更新処理を行う。ただし、ここでいう符号52で表記される領域はサーバーである必要はなく、例えば、対象動物4が存在する領域の近傍に設置されたコンピュータであってもよい。
【符号の説明】
【0126】
1 :音楽提供システム
3 :管理者
4 :対象動物
5 :管理者
6 :操作端末
8 :スピーカー
9 :動作検知部
9a :装置
10 :処理領域
11 :入力受付部
12 :候補音楽特徴パラメータ抽出部
13 :候補音楽抽出部
14 :再生用音楽作成部
15 :音楽出力部
21 :動作解析部
22 :行動状態推定部
23 :行動音楽相関登録部
30 :記憶領域
31 :第一データベース
32 :第二データベース
33 :第三データベース
35 :音源記憶部
50 :電気通信回線
51,52 :サーバー
60,61 :装置
【手続補正書】
【提出日】2022-06-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
乳幼児又は非ヒト動物である対象動物の行動状態と、音楽に含まれる要素を複数の指標で分析して得られる音楽特徴パラメータとの相関性が、相関度の高低に応じて数値化されて記録された第一データベースと、
複数の音楽情報が記録された音源記憶部と、
前記音源記憶部に記録された前記音楽情報が有する前記音楽特徴パラメータに関する情報が、前記音楽情報に対応付けられて記録された第二データベースと、
前記対象動物の目標行動状態に関する情報の入力を受け付ける入力受付部と、
前記第一データベースを参照して、前記入力受付部において受け付けられた前記目標行動状態に対する前記相関度が所定の第一閾値以上を示す前記音楽特徴パラメータである候補音楽特徴パラメータを抽出する、候補音楽特徴パラメータ抽出部と、
前記第二データベースを参照して、前記候補音楽特徴パラメータとの乖離が所定の第二閾値以下を示す前記音楽特徴パラメータを有する前記音楽情報である、一以上の候補音楽情報を抽出する、候補音楽抽出部と、
前記音源記憶部から読み出された前記候補音楽情報を用いて、演算処理によって再生用音楽を作成する再生用音楽作成部と、
前記再生用音楽を、前記対象動物が存在する領域内に設けられたスピーカーに対して、電気通信回線を介して送信する音楽出力部と、を備えたことを特徴とする、行動支援用の音楽提供システム。
【請求項2】
前記対象動物のカテゴリー毎に、前記対象動物の前記行動状態と、前記対象動物の動作を複数の指標で分析して得られる動作パラメータとが関連付けられて記録された、第三データベースと、
前記対象動物の動作を検知する動作検知部と、
前記動作検知部における検知結果に基づいて、現状の前記対象動物の動作に対応する前記動作パラメータである現状動作パラメータを演算処理によって確定する、動作解析部と、
前記第三データベースを参照して、前記現状動作パラメータとの乖離度が所定の第三閾値以下である前記動作パラメータに関連付けられた前記対象動物の前記行動状態である現状行動状態を、前記乖離度と共に演算処理によって推定する行動状態推定部と、
前記対象動物の前記行動状態と前記音楽特徴パラメータとの相関性を前記第一データベースに登録する、行動音楽相関登録部とを備え、
前記候補音楽抽出部は、検証用に指定された値の前記音楽特徴パラメータを有する前記音楽情報である一以上の検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、前記検証音楽情報を用いて、演算処理によって前記再生用音楽を作成する機能を有し、
前記行動音楽相関登録部は、前記検証音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記検証音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録することを特徴とする、請求項1に記載の行動支援用の音楽提供システム。
【請求項3】
前記候補音楽抽出部は、検証用に指定された異なる複数の前記音楽特徴パラメータを有する、複数の前記検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、複数の前記検証音楽情報を用いて、演算処理によって連続的に複数の前記再生用音楽を作成する機能を有し、
前記音楽出力部は、前記再生用音楽作成部で作成された複数の前記再生用音楽を連続的又は断続的に出力し、
前記行動音楽相関登録部は、複数の前記再生用音楽が前記音楽出力部から出力されている間にわたって、前記行動状態推定部によって連続的に推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、複数の前記検証音楽情報のそれぞれが有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録することを特徴とする、請求項2に記載の行動支援用の音楽提供システム。
【請求項4】
前記行動音楽相関登録部は、前記候補音楽情報を用いて作成された前記再生用音楽が前記音楽出力部から出力が開始された後に前記行動状態推定部によって推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、前記候補音楽情報が有する前記音楽特徴パラメータと関連付けて、前記第一データベースを更新することを特徴とする、請求項2又は3に記載の行動支援用の音楽提供システム。
【請求項5】
前記候補音楽抽出部は、前記入力受付部が直前に前記目標行動状態に関する情報の入力を受け付けてから、所定時間以上経過後に、所定のタイミングで前記検証音楽情報を抽出することを特徴とする、請求項2~4のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項6】
前記動作検知部は、前記対象動物を撮像する動画カメラを含んで構成され、
前記動作解析部は、前記動画カメラから送信された動画データ上に映し出されている前記対象動物の連続画像を用いた演算処理によって前記対象動物の運動を解析し、前記現状動作パラメータを確定することを特徴とする、請求項2~5のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項7】
前記動作解析部は、少なくとも前記対象動物の顔又は身体の表面上に位置する複数の検知点の移動量及び移動方向を解析することで、前記現状動作パラメータを確定することを特徴とする、請求項6に記載の行動支援用の音楽提供システム。
【請求項8】
前記動作検知部に含まれる前記動画カメラと、前記音楽出力部から前記再生用音楽が送信される送信先である前記スピーカーとが、一体化されていることを特徴とする、請求項6又は7に記載の行動支援用の音楽提供システム。
【請求項9】
前記第一データベース、前記第二データベース、前記第三データベース、前記音源記憶部、前記入力受付部、前記候補音楽特徴パラメータ抽出部、前記候補音楽抽出部、前記音楽出力部、前記動作解析部、前記行動状態推定部、及び前記行動音楽相関登録部を搭載するサーバーを備え、
前記サーバーに対して通信可能な操作端末から入力された前記目標行動状態に関する情報が、電気通信回線を介して前記入力受付部に送信され、
前記サーバー内の前記音楽出力部から送信される前記再生用音楽が、電気通信回線を介して前記スピーカーから音響信号として出力されることを特徴とする、請求項2~8のいずれか1項に記載の行動支援用の音楽提供システム。
【請求項10】
前記音楽特徴パラメータは、前記音楽情報が有するテンポ、周波数帯、音色、メロディ、ハーモニー、リズム、及び音圧のうちの少なくとも1種以上を含むことを特徴とする、請求項1~9のいずれか1項に記載の行動支援用の音楽提供システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0045
【補正方法】変更
【補正の内容】
【0045】
複数の検証音楽情報に基づいて作成された検証用音楽に基づいて、上記と同様の処理を行うことも可能である。すなわち、
前記候補音楽抽出部は、検証用に指定された異なる複数の前記音楽特徴パラメータを有する、複数の前記検証音楽情報を抽出する機能を有し、
前記再生用音楽作成部は、複数の前記検証音楽情報を用いて、演算処理によって連続的に複数の前記再生用音楽を作成する機能を有し、
前記音楽出力部は、前記再生用音楽作成部で作成された複数の前記再生用音楽を連続的又は断続的に出力し、
前記行動音楽相関登録部は、複数の前記再生用音楽が前記音楽出力部から出力されている間にわたって、前記行動状態推定部によって連続的に推定された前記対象動物の前記現状行動状態を、前記乖離度に基づく前記相関度と共に、複数の前記検証音楽情報のそれぞれが有する前記音楽特徴パラメータと関連付けて、前記第一データベースに登録するものとしても構わない。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0050
【補正方法】変更
【補正の内容】
【0050】
前記音楽提供システムは、前記第一データベース、前記第二データベース、前記第三データベース、前記音源記憶部、前記入力受付部、前記候補音楽特徴パラメータ抽出部、前記候補音楽抽出部、前記音楽出力部、前記動作解析部、前記行動状態推定部、及び前記行動音楽相関登録部を搭載するサーバーを備え、
前記サーバーに対して通信可能な操作端末から入力された前記目標行動状態に関する情報が、電気通信回線を介して前記入力受付部に送信され、
前記サーバー内の前記音楽出力部から送信される前記再生用音楽が、電気通信回線を介して前記スピーカーから音響信号として出力されるものとしても構わない。