(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076835
(43)【公開日】2024-06-06
(54)【発明の名称】読経支援装置、読経支援方法およびプログラム
(51)【国際特許分類】
G09B 19/04 20060101AFI20240530BHJP
G09B 5/02 20060101ALI20240530BHJP
G09B 5/04 20060101ALI20240530BHJP
G09B 19/00 20060101ALI20240530BHJP
G10L 25/48 20130101ALI20240530BHJP
【FI】
G09B19/04
G09B5/02
G09B5/04
G09B19/00 G
G10L25/48 100
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022188622
(22)【出願日】2022-11-25
(71)【出願人】
【識別番号】000001960
【氏名又は名称】シチズン時計株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【氏名又は名称】阿形 直起
(72)【発明者】
【氏名】清水 秀樹
【テーマコード(参考)】
2C028
【Fターム(参考)】
2C028AA12
2C028BA03
2C028BA04
2C028BB04
2C028BB06
2C028BC01
2C028BC02
2C028BD01
(57)【要約】
【課題】読経をする利用者の朗読音声および情動の評価をリアルタイムに提示することを可能とする読経支援装置等を提供する。
【解決手段】読経支援装置は、利用者が経文を朗読する際の速度または経文を朗読すべき期間を画像または音声により提示する提示部と、経文の文字区分ごとに、利用者が経文を朗読した際の朗読音声の音程を評価する音程評価部と、文字区分ごとに、経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価する情動評価部と、文字区分が朗読されるたびに、音程の評価および情動の評価を出力する出力部と、を有する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
利用者が経文を朗読する際の速度または前記経文を朗読すべき期間を画像または音声により提示する提示部と、
前記経文の文字区分ごとに、利用者が前記経文を朗読した際の朗読音声の音程を評価する音程評価部と、
前記文字区分ごとに、前記経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価する情動評価部と、
前記文字区分が朗読されるたびに、前記音程の評価および前記情動の評価を出力する出力部と、
を有することを特徴とする読経支援装置。
【請求項2】
利用者による宗派の選択を受け付ける受付部をさらに有し、
前記提示部は、前記宗派の選択に応じて、利用者の息継ぎのタイミングを提示することにより、または、所定の間隔で木魚の音を出力することにより、利用者が経文を朗読する際の速度または前記経文を朗読すべき期間を提示する、
請求項1に記載の読経支援装置。
【請求項3】
前記出力部は、前記音程の評価と前記情動の評価とを、単一の表示領域に異なる表示態様を用いて表示する、
請求項1に記載の読経支援装置。
【請求項4】
前記出力部は、前記音程の評価と前記情動の評価とを、単一の炎の色と形状とを用いて表示する、
請求項3に記載の読経支援装置。
【請求項5】
前記経文を朗読する利用者の感情を判定する感情判定部と、
前記音程の評価、前記情動の評価および前記感情の判定の組合せに基づいて、前記利用者の読経の練度を評価する練度評価部と、
前記練度の評価を出力する練度出力部と、をさらに有する、
請求項1に記載の読経支援装置。
【請求項6】
読経支援装置によって実行される読経支援方法であって、
利用者が経文を朗読する際の速度または前記経文を朗読すべき期間を画像または音声により提示し、
前記経文の文字区分ごとに、利用者が前記経文を朗読した際の朗読音声の音程を評価し、
前記文字区分ごとに、前記経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価し、
前記文字区分が朗読されるたびに、前記音程の評価および前記情動の評価を出力する、
ことを含むことを特徴とする読経支援方法。
【請求項7】
利用者が経文を朗読する際の速度または前記経文を朗読すべき期間を画像または音声により提示し、
前記経文の文字区分ごとに、利用者が前記経文を朗読した際の朗読音声の音程を評価し、
前記文字区分ごとに、前記経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価し、
前記文字区分が朗読されるたびに、前記音程の評価および前記情動の評価を出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、読経支援装置、読経支援方法およびプログラムに関する。
【背景技術】
【0002】
近年、メンタルヘルスを改善するトレーニングとして、仏教の教典である経文を朗読する読経が注目されている。読経において、経文は適切な音程で朗読されることが好ましい。また、トレーニングとしての読経は、安定した情動のもとで行われることが好ましい。
【0003】
特許文献1には、文字列を音読する話者の音声波形データと、手本の音声波形データとをディスプレイに描画することにより、話者の音声と手本の音声との違いを話者に把握させることを可能とする音声情報表示装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
トレーニングとしての読経を支援するためには、読経者の音声の音程に加えて、読経者の情動をリアルタイムに評価することが求められる。
【0006】
本発明は、上述の課題を解決するためになされたものであり、読経をする利用者の朗読音声および情動の評価をリアルタイムに提示することを可能とする読経支援装置、読経支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の実施形態に係る読経支援装置は、利用者が経文を朗読する際の速度または経文を朗読すべき期間を画像または音声により提示する提示部と、経文の文字区分ごとに、利用者が経文を朗読した際の朗読音声の音程を評価する音程評価部と、文字区分ごとに、経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価する情動評価部と、文字区分が朗読されるたびに、音程の評価および情動の評価を出力する出力部と、を有することを特徴とする。
【0008】
また、読経支援装置は、利用者による宗派の選択を受け付ける受付部をさらに有し、提示部は、宗派の選択に応じて、利用者の息継ぎのタイミングを提示することにより、または、所定の間隔で木魚の音を出力することにより、利用者が経文を朗読する際の速度または経文を朗読すべき期間を提示することが好ましい。
【0009】
また、出力部は、音程の評価と情動の評価とを、単一の表示領域に異なる表示態様を用いて表示することが好ましい。
【0010】
また、出力部は、音程の評価と情動の評価とを、単一の炎の色と形状とを用いて表示することが好ましい。
【0011】
また、読経支援装置は、経文を朗読する利用者の感情を判定する感情判定部と、音程の評価、情動の評価および感情の判定の組合せに基づいて、利用者の読経の練度を評価する練度評価部と、練度の評価を出力する練度出力部と、をさらに有することが好ましい。
【0012】
本発明の実施形態に係る読経支援方法は、読経支援装置によって実行される読経支援方法であって、利用者が経文を朗読する際の速度または経文を朗読すべき期間を画像または音声により提示し、経文の文字区分ごとに、利用者が経文を朗読した際の朗読音声の音程を評価し、文字区分ごとに、経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価し、文字区分が朗読されるたびに、音程の評価および情動の評価を出力する、ことを含むことを特徴とする。
【0013】
本発明の実施形態に係るプログラムは、利用者が経文を朗読する際の速度または経文を朗読すべき期間を画像または音声により提示し、経文の文字区分ごとに、利用者が経文を朗読した際の朗読音声の音程を評価し、文字区分ごとに、経文を朗読する利用者の、連続的に得られた画像に基づいて、利用者の情動を評価し、文字区分が朗読されるたびに、音程の評価および情動の評価を出力する、ことをコンピュータに実行させることを特徴とする。
【発明の効果】
【0014】
本発明に係る読経支援装置、読経支援方法およびプログラムは、読経をする利用者の朗読音声および情動の評価をリアルタイムに提示することを可能とする。
【図面の簡単な説明】
【0015】
【
図2】宗派テーブルT1のデータ構造を示す図である。
【
図5】期間提示領域G22に表示される画像の変化について説明するための模式図である。
【
図10】音程の評価方法について説明するための模式図である。
【
図11】情動の評価方法について説明するための模式図である。
【
図12】第1読経処理の流れを示すフロー図である。
【
図13】練度評価処理の流れを示すフロー図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。
【0017】
図1は、本発明の実施形態に係る読経支援装置1の機能ブロック図である。読経支援装置1は、利用者が経文を朗読する際の速度(読経速度)または経文を朗読すべき期間(朗読期間)を提示することにより、朗読のテンポまたはリズムを提示する。また、読経支援装置1は、提示されたテンポまたはリズムにしたがって経文を朗読する利用者の朗読音声の音程および利用者の情動をリアルタイムに評価する。利用者は、出力された評価を確認することにより、適切な情動を維持しながら、適切な音程で読経を継続することができる。また、読経支援装置1は、経文を朗読する利用者の感情を判定し、音程の評価、情動の評価および感情の判定に基づいて、利用者の読経の練度を評価する。利用者は、読経の練度の評価を確認することにより、適切な難易度の読経に挑戦することができる。読経支援装置1は、PC(Personal Computer)、携帯電話機、スマートフォン等の情報処理装置であり、記憶部11、撮像部12、音声入力部13、音声出力部14、表示部15、操作部16、処理部17等を有する。
【0018】
記憶部11は、プログラムまたはデータを記憶するための構成であり、例えば、半導体メモリ装置を備える。記憶部11は、処理部17による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)等のコンピュータ読取可能かつ非一時的な可搬型記憶媒体から記憶部11にインストールされる。
【0019】
撮像部12は、経文を朗読する利用者を撮像するための構成であり、カメラを備える。カメラは、受光面に結像させるための結像光学系と、受光面に二次元に配列され、入射した光量に応じた電気信号を出力するCCD(Charge Coupled Device)センサ等の光電変換素子と、光電変換素子の出力に基づいて画像を生成する画像生成回路とを備える。撮像部12は、処理部17から供給される制御信号に基づいて画像を生成し、生成された画像を処理部17に供給する。
【0020】
音声入力部13は、利用者が経文を朗読した際の朗読音声を取得するための構成であり、マイクを備える。音声入力部13は、音声によって生じる振動を電気信号に変換する。音声入力部13は、処理部17から供給される制御信号に基づいて音声を電気信号に変換し、電気信号を処理部17に供給する。
【0021】
音声出力部14は、音声を出力するための構成であり、スピーカを備える。音声出力部14は、処理部17から供給される電気信号を機械的な振動に変換することにより、音声を出力する。
【0022】
表示部15は、画像を表示するための構成であり、例えば液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイを備える。表示部15は、処理部17から供給された表示データに基づいて画像を表示する。
【0023】
操作部16は、利用者の操作を受け付けるための構成であり、例えばキーボード、キーパッド、マウスを備える。操作部16はタッチパネルを備え、表示部15と一体化されていてもよい。操作部16は、利用者の操作に応じた操作信号を生成し、処理部17に供給する。
【0024】
処理部17は、読経支援装置1の動作を統括的に制御するデバイスであり、一つまたは複数個のプロセッサおよびその周辺回路を備える。処理部17は、例えば、CPU(Central Processing Unit)を備える。処理部17は、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を備えてもよい。処理部17は、記憶部11に記憶されているプログラムおよび操作部16からの操作信号に基づいて読経支援装置1の各種処理が適切な手順で実行されるように、各構成の動作を制御するとともに、各種の処理を実行する。
【0025】
処理部17は、受付部171、提示部172、音程評価部173、情動評価部174、出力部175、感情判定部176、練度評価部177および練度出力部178をその機能ブロックとして備える。これらの各部は、処理部17によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして読経支援装置1に実装されてもよい。
【0026】
図2は、記憶部11に記憶される宗派テーブルT1のデータ構造を示す図である。宗派テーブルT1は、宗派、経文、方式および経文区分を相互に関連付けて記憶する。
【0027】
宗派および経文はそれぞれ、仏教の宗派を識別する情報および経文の種類を識別する情報である。利用者の宗派に応じて利用者が朗読すべき経文が異なるため、各宗派に経文がそれぞれ関連付けられている。複数の宗派に用いられている経文もあるため、複数の宗派に同一の経文が関連付けられてもよい。方式は、読経のテンポまたはリズムを規定する方式を示す情報であり、息継ぎ方式および木魚方式のうちのいずれか一方である。息継ぎ方式は、利用者が経文を朗読すべき朗読期間と利用者が息継ぎをするための息継ぎ期間とをあらかじめ定めておく方式である。利用者が朗読期間の間に経文の一節を朗読し、息継ぎ期間の間に息継ぎをすることにより、読経のリズムが規定される。木魚方式は、利用者が経文を朗読している間に所定のテンポで木魚の音を出力する方式である。利用者は、木魚の音を聞きながら経文を朗読することにより、読経速度が木魚の音のテンポに誘導され、読経のテンポが規定される。経文区分は、あらかじめ経文ごとに定められている区切り位置に基づいて分節された経文の各節を示す情報であり、各節の識別情報と各節に含まれる経文の文字列とが関連付けられている。
【0028】
図3は、表示部15に表示される設定画面G1の例を示す図である。設定画面G1は、利用者の宗派および読経の速度を設定するための画面である。設定画面G1は、例えば、操作部16が読経支援アプリケーションプログラムを実行する操作を受け付けたときに表示される。設定画面G1は、宗派選択領域G11、速度選択領域G12および読経開始オブジェクトG13を含む。
【0029】
宗派選択領域G11は、利用者の宗派を選択するための領域である。上述したように、
利用者の宗派に応じて利用者が朗読すべき経文および読経の方式が異なる。したがって、利用者は、読経に先立って、複数の宗派のうちから自身の宗派を選択する。例えば、宗派選択領域G11は複数の宗派のそれぞれに対応する複数のオブジェクトを含み、利用者は複数のオブジェクトのうちから自身の宗派に対応するオブジェクトを選択する。宗派選択領域G11は、選択されたオブジェクトを強調して表示する。
図3に示す例では、利用者によって選択された「浄土真宗」に対応するオブジェクトが強調して表示されている。
【0030】
速度選択領域G12は、読経速度を選択するための領域である。例えば、速度選択領域G12はあらかじめ設定された複数の速度のうちから一つの速度を選択可能とするラジオボタンを含む。
図3に示す例では、速度選択領域G12は、速い速度に対応する「高揚」、中程度の速度に対応する「日常」、遅い速度に対応する「沈着」のうちのいずれか一つを選択可能としている。なお、速度選択領域G12は、利用者が読経速度を数値で指定可能とするようなオブジェクトを含んでもよい。
【0031】
読経の際の息継ぎのタイミングが定められている場合には、読経速度が速いほど朗読期間が短くなる。読経の際の息継ぎのタイミングが定められていない場合には、読経速度が速いほど音声出力部14から出力される木魚の音の間隔が短くなる。
図3に示す例では、利用者によって、速い速度に対応する「高揚」が選択されている。
【0032】
読経開始オブジェクトG13は、読経を開始するためのオブジェクトである。利用者は、宗派および読経速度の選択の後、読経開始オブジェクトG13を選択することにより読経を開始する。
【0033】
図4は、表示部15に表示される第1読経画面G2の例を示す図である。第1読経画面G2は、息継ぎ方式の読経をするための画面である。第1読経画面G2は、設定画面G1の宗派選択領域G11において息継ぎ方式の宗派が選択された状態で読経開始オブジェクトG13が選択されたときに表示される。第1読経画面G2は、経文表示領域G21、期間提示領域G22および評価表示領域G23を含む。
【0034】
経文表示領域G21は、利用者が朗読する経文を表示する。例えば、経文表示領域G21は、経文が縦書きで表示された画像を、読経の速度に応じた速さで右方向にスクロールすることにより、利用者が現在朗読すべき経文を表示する。
図4に示す例では、経文は節の区切りで改行されているため、経文表示領域G21は、一回の息継ぎ期間と朗読期間との間に一行分だけ経文の画像をスクロールする。
【0035】
期間提示領域G22は、経文表示領域G21に表示された経文を利用者が朗読すべき朗読期間および利用者が息継ぎをすべき息継ぎ期間を提示する。
図2に示す例では、期間提示領域G22は、文字列STにより現在が朗読期間であるか、または息継ぎ期間であるかを示すとともに、文字列STを囲むように配置された円環状のプログレスバーPBにより、朗読期間および息継ぎ期間の進行状況を提示する。
【0036】
図5は、期間提示領域G22に表示される画像の変化について説明するための模式図である。最初に、息継ぎ期間が開始する。息継ぎ期間の開始と同時に、
図5の上段左側に示すように、文字列STとして「吸って」の文字列が表示される。このとき、プログレスバーPBの長さはゼロである。この状態から時間が経過すると、
図5の上段中央に示すように、プログレスバーPBが12時の位置から時計回りに延伸する。この状態からさらに時間が経過し、息継ぎ期間の終了時刻が到来すると、
図5の上段右側に示すように、プログレスバーPBの先端は、12時の位置に到達する。息継ぎ期間が終了すると、朗読期間が開始する。朗読期間の開始と同時に、
図5の下段右側に示すように、文字列STとして「読んで」の文字列が表示される。このとき、プログレスバーPBの長さはゼロである。この状態から時間が経過すると、
図5の下段中央に示すように、再びプログレスバーPBが12時の位置から時計回りに延伸する。この状態からさらに時間が経過し、朗読期間の終了時刻が到来すると、
図5の下段左側に示すように、プログレスバーPBの先端は、12時の位置に到達する。朗読期間が終了すると、再び息継ぎ期間が開始する。期間提示領域G22は、読経が終了するまで上述の表示を繰り返す。
【0037】
朗読期間の長さは設定画面G1において設定された読経の速度に応じて異なる。例えば、朗読期間の長さは、「高揚」が選択された場合は2秒であり、「日常」が選択された場合は4秒であり、「沈着」が選択された場合は6秒である。息継ぎ期間の長さは、読経の速度にかかわらず一定であり、例えば2秒である。
【0038】
このようにして、読経支援装置1は、朗読期間および息継ぎ期間を画像により提示する。
【0039】
図4に戻り、評価表示領域G23は、音程の評価と情動の評価とを、ろうそくに灯された炎FLの色と形状とを用いて表示する。例えば、評価表示領域G23は、音程の評価を炎FLの形状を用いて表示するとともに、情動の評価を炎FLの色を用いて表示する。
【0040】
経文は抑揚をつけずに読むことが好ましいとされている。したがって、朗読期間における音程の変動量が小さいほど、音程の評価は優れたものとなる。炎FLは、その形状が周期的に拡大縮小し、音程の変動量が小さいほどその拡大縮小の幅が小さくなるように表示される。音程の変動量が小さい場合には、炎FLは、その形状が時間経過にかかわらず一定となるように表示されてもよい。
【0041】
情動は、経文を朗読する利用者の脈拍数に基づいて評価される。メンタルヘルスを改善するという観点からは、脈拍数の変動回数が小さい、すなわち情動が小さいことが好ましいとされている。したがって、情動が小さいほど、情動の評価は優れたものとなる。炎FLは、情動の大きさに応じた色で表示される。例えば、炎FLは、情動が小さいほど白色に近く、情動が大きいほど赤色に近くなるように表示される。
【0042】
音程および情動の評価は、朗読期間ごとに行われる。利用者は、朗読期間の間に、経文表示領域G21に表示された経文の一節を朗読する。すなわち、音程および情動の評価は、経文の一節ごとに行われる。また、評価表示領域G23は、経文の一節が朗読されるたびに、音程の評価および情動の評価に基づいて炎FLの形状および色を更新することにより、音程の評価および情動の評価を出力する。経文の一節は、経文の文字区分の一例である。
【0043】
このように、評価表示領域G23は、音程の評価と情動の評価とを、単一の炎の色と形状とを用いて表示する。これにより、利用者は、音程の評価と情動の評価との両方を容易に確認することができる。
【0044】
図6は、表示部15に表示される第2読経画面G3の例を示す図である。第2読経画面G3は、木魚方式の読経をするための画面である。第2読経画面G3は、設定画面G1において、木魚方式の宗派が選択された状態で読経開始オブジェクトG13が選択されたときに表示される。第2読経画面G3は、経文表示領域G31、アニメーション表示領域G32および評価表示領域G33を含む。
【0045】
経文表示領域G31は、利用者が朗読する経文を表示するとともに、利用者が経文を朗読する際の速度を提示する。
図5に示す例では、経文表示領域G31は、カラオケの歌詞表示のように、白抜き文字で経文を表示するとともに、前から後ろに向かって、所定の速度で経文の文字を白抜き文字から黒塗り文字に切り替える。経文の表示が白抜き文字から黒塗り文字に切り替わる速度に合わせて利用者が経文を朗読することにより、所定の速度で経文が朗読される。
【0046】
アニメーション表示領域G32は、木魚バイと称される棒が木魚を叩くアニメーションを繰り返し表示する。木魚方式の朗読では、所定の間隔で木魚の音が音声出力部14から出力される。アニメーション表示領域G32は、木魚の音が出力されるタイミングと棒が木魚を叩くタイミングとが同期するように、アニメーションを表示する。木魚の音が出力されるテンポは、設定画面G1において選択された読経の速度に応じて異なる。例えば、木魚の音のテンポは、「高揚」が選択された場合は100bpmであり、「日常」が選択された場合は80bpmであり、「沈着」が選択された場合は65bpmである。
【0047】
このようにして、読経支援装置1は、読経速度を画像および音声により提示する。
【0048】
評価表示領域G33は、評価表示領域G23と同様に、音程の評価と情動の評価とを表示する。音程および情動の評価は、連続する二回の木魚の音によって区切られる評価期間ごとに行われる。利用者は、連続する二回の木魚の音が出力される間に、経文表示領域G31において白抜き文字から黒塗り文字に切り替わった部分を朗読する。すなわち、音程および情動の評価は、評価期間ごとに行われる。また、評価表示領域G33は、評価期間に対応する経文の一部が朗読されるたびに、音程の評価および情動の評価に基づいて炎の形状および色を更新することにより、音程の評価および情動の評価を出力する。評価期間に対応する経文の一部は、経文の文字区分の一例である。
【0049】
図7は、表示部15に表示される練度評価画面G4を示す図である。練度評価画面G4は、利用者の読経の練度の評価を表示する画面である。練度評価画面G4は、第1読経画面G2または第2読経画面G3を用いた読経が終了したときに表示される。練度評価画面G4は、項目別評価表示領域G41および練度表示領域G42を含む。
【0050】
項目別評価表示領域G41は、読経の開始から終了までの全期間における音程の評価、情動の評価および感情の判定を表示する。全期間における音程の評価は、読経の開始から終了までの期間に対する、音程の変動量が小さいと判定された期間の比率である。全期間における情動の評価は、読経の開始から終了までの期間に対する、情動が小さいと判定された期間の比率である。全期間における感情の判定は、読経の開始から終了までの期間に対する、利用者が正の感情を有していると判定された期間の比率である。
【0051】
練度表示領域G42は、利用者の読経の練度の評価を表示する。
図7に示す例では、利用者の読経の練度として、利用者が現在の読経に適した熟練状態であることがテキストにより示されている。利用者の読経の練度は、音程の評価、情動の評価および感情の判定の組合せに基づいて評価される。
【0052】
図8は、読経支援装置1によって実行される読経支援処理の流れを示すフロー図である。読経支援処理は、例えば、操作部16が読経支援アプリケーションプログラムを起動する操作を受け付けたときに実行される。読経支援処理は、記憶部11に記憶されたプログラムに基づいて、処理部17が読経支援装置1の各構成と協働することにより実現される。
【0053】
最初に、受付部171は、利用者による、宗派の選択および朗読の速度の選択を受け付ける(ステップS101)。受付部171は、あらかじめ記憶部11に記憶された設定画面G1の表示データを表示部15に供給することにより、表示部15に設定画面G1を表示する。受付部171は、操作部16に対する、宗派を選択する操作および読経の速度を選択する操作を受け付ける。受付部171は、受け付けた操作に基づいて、設定画面G1の宗派選択領域G11および速度選択領域G12の表示を変更する。また、受付部171は、操作部16に対する、読経開始オブジェクトG13を選択する操作を受け付ける。受付部171は、操作があったときに選択されていた宗派および読経速度を、利用者によって選択された宗派および読経速度として記憶部11に記憶する。
【0054】
次に、受付部171は、宗派テーブルT1を参照し、利用者の宗派の読経が息継ぎ方式であるか否かを判定する(ステップS102)。
【0055】
利用者の宗派の読経が息継ぎ方式である場合(ステップS102-Yes)、息継ぎ方式の読経を支援する第1読経処理が実行される(ステップS103)。第1読経処理の詳細については後述する。
【0056】
利用者の宗派の読経が息継ぎ方式でない場合(ステップS102-No)、すなわち木魚方式である場合、木魚方式の読経を支援する第2読経処理が実行される(ステップS104)。第2読経処理の詳細については後述する。
【0057】
第1読経処理または第2読経処理の後、利用者の読経の練度を評価する練度評価処理が実行される(ステップS105)。練度評価処理の詳細については後述する。以上で、読経支援処理が終了する。
【0058】
図9は、第1読経処理の流れを示すフロー図である。第1読経処理は、読経支援処理のステップS103において実行される。
【0059】
最初に、提示部172は、あらかじめ記憶部11に記憶された第1読経画面G2の表示データを表示部15に供給することにより、第1読経画面G2を表示部15に表示する(ステップS201)。以後、提示部172は、時間経過に応じて、第1読経画面G2の経文表示領域G21に表示される経文の表示を更新する。
【0060】
次に、提示部172は、音声入力部13を制御して、利用者が経文を朗読した際の朗読音声の取得を開始する(ステップS202)。以後、提示部172は、音声入力部13から供給される、利用者の朗読音声が変換された電気信号に基づいて、朗読音声を時系列に記録した朗読音声データを生成して記憶部11に記憶する。
【0061】
また、提示部172は、撮像部12を制御して、経文を朗読する利用者の撮像を開始する(ステップS203)。以後、提示部172は、撮像部12から供給される利用者の動画像のデータを取得して記憶部11に記憶する。なお、動画像は、連続的に得られた画像の一例である。
【0062】
次に、提示部172は、利用者が息継ぎをするための息継ぎ期間を画像により提示する(ステップS204)。提示部172は、息継ぎ期間を開始する。提示部172は、期間提示領域G22の文字列STとして「吸って」を表示する。また、提示部172は、息継ぎ期間の終了時刻に期間提示領域G22のプログレスバーPBが12時の位置に到達するように、プログレスバーPBを延伸する。このようにして、提示部172は、息継ぎ期間を期間提示領域G22に表示される画像により提示する。
【0063】
息継ぎ期間が終了すると、提示部172は、利用者が経文を朗読すべき朗読期間を画像により提示する(ステップS205)。提示部172は、朗読期間を開始する。提示部172は、期間提示領域G22の文字列STとして「読んで」を表示する。また、提示部172は、朗読期間の終了時刻に期間提示領域G22のプログレスバーPBが12時の位置に到達するように、プログレスバーPBを延伸する。このようにして、提示部172は、朗読期間を期間提示領域G22に表示される画像により提示する。
【0064】
朗読期間が終了すると、音程評価部173は、利用者の朗読音声の音程を評価する(ステップS206)。音程評価部173は、直前に終了した息継ぎ期間および朗読期間の朗読音声データを記憶部11から取得する。音程評価部173は、朗読音声データに基づいて、朗読音声の音程の変動量を算出し、音程の変動量に基づいて朗読音声の音程を評価する。
【0065】
図10は、音程の評価方法について説明するための模式図である。
図10のグラフの縦軸は周波数fであり、横軸は時間tである。音程評価部173は、朗読音声データにFFT(Fast Fourier Transform)を適用し、朗読音声データのスペクトル解析を行うことにより、朗読音声の音程に対応する基本周波数F0の時間変化PTを算出する。
図9では、朗読期間P1と息継ぎ期間P2における基本周波数F0の時間変化PTが曲線で示されている。音程評価部173は、朗読期間P1における基本周波数F0の最大値と最小値を抽出し、最大値と最小値の差分Δfを音程の変動量として算出する。
【0066】
音程評価部173は、音程の変動量を所定の閾値と比較することにより、朗読音声の音程を評価する。例えば、音程評価部173は、差分Δfが20Hz未満である場合に、音程の変動量が小さいと評価する。音程評価部173は、差分Δfが20Hz以上50Hz未満である場合に、音程の変動量が中程度であると評価する。音程評価部173は、差分Δfが50Hz以上である場合に、音程の変動量が大きいと評価する。
【0067】
このようにして、音程評価部173は、朗読期間ごとに、すなわち経文の一節ごとに、朗読音声の音程を評価する。
【0068】
図9に戻り、情動評価部174は、利用者の情動を評価する(ステップS207)。情動評価部174は、直前に終了した息継ぎ期間および朗読期間の利用者の動画像データを記憶部11から取得する。情動評価部174は、利用者の動画像データに基づいて利用者の脈拍数を推定し、脈拍数の変動回数に基づいて利用者の情動を評価する。例えば、情動評価部174は、国際公開第2022/065446号または国際公開第2018/74371号に記載された方法により、利用者の脈拍数を推定する。
【0069】
図11は、情動の評価方法について説明するための模式図である。
図11(A)のグラフの縦軸は脈波の振幅Aであり、横軸は時間tである。また、
図11(B)のグラフの縦軸は脈拍数Bであり、横軸は時間tである。情動評価部174は、利用者の動画像データから複数のフレーム画像を抽出する。情動評価部174は、複数のフレーム画像に対して輪郭検知アルゴリズムまたは特徴点抽出アルゴリズムを適用し、フレーム画像において利用者の額に対応する領域を特定する。情動評価部174は、各フレーム画像の額に対応する領域に含まれる画素を抽出し、抽出した画素のRGBの画素値のうちG(緑)の画素値を取得することにより、Gの画素値の時間変化を算出する。額には毛細血脈が集中しており、Gの画素値には利用者の血流が反映されるため、Gの画素値の時間変化に基づいて脈波が検出される。情動評価部174は、Gの画素値の時間変化を示す信号に、人の脈波に対応する0.5Hz~3Hzの透過帯域を有するバンドパスフィルタを適用することにより、
図11(A)に示す脈波信号PWを抽出する。なお、情動評価部174は、フレーム画像において、額とは異なる他の人体の皮膚露出部位に対応する領域を抽出してもよい。
【0070】
情動評価部174は、抽出した脈波信号PWに基づいて、利用者の脈拍数の時間変化を算出する。例えば、情動評価部174は、脈波信号のピーク点P(n)を特定する。情動評価部174は、隣接する二つのピーク点(P(n)、P(n+1))の間の間隔を脈波間隔d(n)として算出する。情動評価部174は、脈波間隔の逆数の60倍を一分間あたりの脈拍数として、
図10(B)に示す脈拍数の時間変化PRを算出する。
【0071】
情動評価部174は、脈拍数の時間変化PRに基づいて、脈拍数の変動回数を算出する。情動評価部174は、朗読期間P1の間の脈拍数の時間変化PRの極大値となる点の脈拍数b2と、極大値となる点の所定時間前の脈拍数b1とを抽出する。情動評価部174は、脈拍数b2が一般的な人の平均脈拍数bavよりも大きく、かつ、脈拍数b2と脈拍数b1との差分Δbが所定値以上である場合に、脈拍数が変動したと判定する。情動評価部174は、朗読期間P1における脈拍数の極大値となる点のそれぞれについて上述の判定をすることにより、朗読期間P1における脈拍数の変動回数を算出する。
【0072】
情動評価部174は、朗読期間における脈拍数の変動回数を所定の閾値と比較することにより、情動を評価する。例えば、情動評価部174は、朗読期間における脈拍数の変動回数が1回以下である場合に、情動が小さいと評価する。情動評価部174は、朗読期間における脈拍数の変動回数が2回以上4回以下である場合に、情動が中程度であると評価する。情動評価部174は、朗読期間における脈拍数の変動回数が5回以上である場合に、情動が大きいと評価する。
【0073】
このようにして、情動評価部174は、朗読期間ごとに、すなわち経文の一節ごとに、利用者の情動を評価する。
【0074】
図9に戻り、出力部175は、単一の炎の色と形状とを用いて音程の評価および情動の評価を出力する(ステップS208)。出力部175は、音程の評価に応じた形状および情動の評価に応じた色を有する炎の表示データを生成する。出力部175は、生成した表示データに基づいて、評価表示領域G23に炎を表示する。以後、出力部175は、時間経過に応じて、評価表示領域G23に表示される炎の形状を拡大縮小する。このようにして、出力部175は、朗読期間が終了するたびに、すなわち経文の一節が朗読されるたびに、音程の評価および情動の評価を出力する。
【0075】
次に、提示部172は、読経が終了したか否かを判定する(ステップS209)。例えば、提示部172は、第1読経画面G2が表示されてから所定時間が経過し、経文表示領域G21に全ての経文が表示された場合に、読経が終了したと判定する。
【0076】
読経が終了していない場合(ステップS209-No)、第1読経処理はステップS204に戻り、提示部172は再び息継ぎ期間を提示する。読経が終了している場合(ステップS209-Yes)、第1読経処理は終了する。
【0077】
図12は、第2読経処理の流れを示すフロー図である。第2読経処理は、読経支援処理のステップS104において実行される。
【0078】
最初に、提示部172は、あらかじめ記憶部11に記憶された表示データに基づいて、第2読経画面G3を表示部15に表示する(ステップS301)。以後、提示部172は、時間経過に応じて、第2読経画面G3の経文表示領域G31に表示される経文の表示を更新する。また、提示部172は、時間経過に応じて、アニメーション表示領域G32に表示されるアニメーションを更新する。
【0079】
次に、提示部172は、音声入力部13を制御して、利用者が経文を朗読した際の朗読音声の取得を開始する(ステップS302)。
【0080】
また、提示部172は、撮像部12を制御して、経文を朗読する利用者の撮像を開始する(ステップS303)。
【0081】
次に、提示部172は、木魚の音が出力される出力時刻が到来したか否かを判定する(ステップS304)。出力時刻は、第2読経画面G3が表示された時刻、または直前に木魚の音が出力された時刻から、読経の速度に基づいて定まる時間が経過した時刻である。
【0082】
出力時刻が到来していない場合(ステップS304-No)、第2読経処理は、ステップS304に戻る。すなわち、提示部172は、出力時刻が到来するまで待機する。
【0083】
出力時刻が到来している場合(ステップS304-Yes)、提示部172は、音声出力部14を制御して、木魚の音を出力する(ステップS305)。提示部172は、あらかじめ記憶部11に記憶された木魚の音の音声データを音声出力部14に供給することにより、木魚の音を出力する。このようにして、提示部172は、読経速度をアニメーション表示領域G32に表示される画像および音声出力部14から出力される音声により提示する。
【0084】
次に、音程評価部173は、利用者の朗読音声の音程を評価する(ステップS306)。音程評価部173は、直前の出力時刻とその前の出力時刻との間の期間の朗読音声データを記憶部11から取得する。音程評価部173は、第1読経処理のステップS206と同様にして、朗読音声データのスペクトル解析を行うことにより、基本周波数F0の時間変化を算出する。また、音程評価部173は、朗読音声データのうちから木魚の音が含まれている期間を検出し、朗読音声データのうち木魚の音が含まれていない期間を評価期間として抽出する。木魚の音が含まれている期間は、朗読音声データが示す音声波形とあらかじめ記憶された木魚の音の音声波形とを比較することにより検出されてもよく、時刻に基づいて検出されてもよい。
【0085】
音程評価部173は、評価期間における基本周波数の最大値と最小値を抽出し、最大値と最小値の差分を音程の変動量として算出する。木魚の音が含まれている期間を評価期間から除外することにより、木魚の音の影響を受けることなく、適切に基本周波数の時間変化が算出される。音程評価部173は、音程の変動量を所定の閾値と比較することにより、朗読音声の音程を評価する。
【0086】
このようにして、音程評価部173は、評価期間ごとに、すなわち評価期間に対応する経文の一部ごとに、朗読音声の音程を評価する。
【0087】
また、情動評価部174は、利用者の情動を評価する(ステップS307)。情動評価部174は、直前の出力時刻とその前の出力時刻との間の期間の利用者の動画像データを記憶部11から取得する。情動評価部174は、第1読経評価処理のステップS207と同様にして、利用者の動画像データに基づいて利用者の脈拍数の時間変化を算出する。情動評価部174は、評価期間における脈拍数の変動回数を算出する。情動評価部174は、脈拍数の変動回数を所定の閾値と比較することにより、利用者の情動を評価する。
【0088】
このようにして、情動評価部174は、評価期間ごとに、すなわち評価期間に対応する経文の一部ごとに、朗読音声の音程を評価する。
【0089】
次に、出力部175は、第1読経処理のステップS208と同様にして、音程の評価および情動の評価を出力する(ステップS308)。出力部175は、評価期間が終了するたびに、すなわち評価期間に対応する経文の一部が朗読されるたびに、音程の評価および情動の評価を出力する。
【0090】
次に、提示部172は、読経が終了したか否かを判定する(ステップS309)。読経が終了していない場合(ステップS309-No)、第2読経処理はステップS304に戻り、提示部172は再び出力時刻が到来するまで待機する。読経が終了している場合(ステップS309-Yes)、第2読経処理は終了する。
【0091】
図13は、練度評価処理の流れを示すフロー図である。練度評価処理は、読経支援処理のステップS105において実行される。
【0092】
最初に、感情判定部176は、利用者の感情を判定する(ステップS401)。感情判定部176は、第1読経処理のステップS207または第2読経処理のステップS307において算出された、利用者の脈波間隔d(n)に基づいて、利用者の感情を判定する。
【0093】
感情判定部176は、各感情判定期間に含まれる脈波間隔d(n)を記憶部11から取得する。感情判定部176は、各感情判定期間について、次の式で示される最大リアプノフ指数λを算出する。
【数1】
ここで、Mは感情判定期間に含まれる脈波間隔のデータ数から1を減じた値である。
【0094】
最大リアプノフ指数は、脈波間隔の時間変化が複雑系の揺らぎをどの程度有しているかを示す指数であり、その値が大きいほど複雑系の揺らぎがあり、小さいほど複雑系の揺らぎが小さいことを示す。人の脈波間隔は自律神経の機能により一定程度の複雑系の揺らぎを有しているが、自律神経の機能が低下すると複雑系の揺らぎが失われることが知られている。したがって、最大リアプノフ指数の値が小さくなるほど人の自律神経の機能が低下しており、その人がストレス要因を抱えている、すなわち負の感情を有していると推定される。
【0095】
感情判定部176は、最大リアプノフ指数λを所定の閾値と比較することにより、感情判定期間における利用者の感情を判定する。例えば、感情判定部176は、最大リアプノフ指数λが+0.0150より大きいである場合に、利用者が読経に適した高い正の感情を有していると判定し、最大リアプノフ指数λが+0.0150以下である場合に、利用者が読経に適さない低い正の感情、または負の感情を有していると判定する。
【0096】
次に、練度評価部177は、音程の評価、情動の評価および感情の判定の組合せに基づいて、利用者の読経の練度を評価する(ステップS402)。練度評価部177は、読経の開始から終了までの全期間における音程の評価、情動の評価および感情の判定を行う。
【0097】
練度評価部177は、音程の変動が小さいと評価された朗読期間または評価期間の長さの和の、全ての朗読期間または評価期間の長さの和に対する比率を全期間における音程の評価として算出する。また、練度評価部177は、情動が小さいと評価された朗読期間または評価期間の長さの和の、全ての朗読期間または評価期間の長さの和に対する比率を全期間における情動の評価として算出する。また、練度評価部177は、利用者が読経に適した高い正の感情を有していると判定された感情判定期間の長さの和の、全ての感情判定期間の長さの和に対する比率を全期間における感情の判定として算出する。
【0098】
練度評価部177は、全期間における音程の評価、情動の評価および感情の判定を所定の閾値と比較した結果の組合せに基づいて、利用者の読経の練度を評価する。例えば、練度評価部177は、音程の評価、情動の評価および感情の判定の全てが50%以上である場合、利用者の練度が現在の設定に適切な状態であると評価する。練度評価部177は、音程の評価、情動の評価および感情の判定の全てが50%未満である場合、利用者の練度が現在の設定に対して低い状態であると評価する。練度評価部177は、情動の評価が50%以上であり、音程の評価および感情の判定が50%未満である場合、利用者の練度が現在の設定に対して非常に低い状態であると評価する。これは、利用者が経文を適切に朗読することができないために音程を合わせることを諦めてしまい、情動が生じにくくなっていると考えられるからである。練度評価部177は、音程の評価が50%以上であり、感情の判定が50%未満である場合、利用者の練度が現在の設定に対して高すぎる状態であると評価する。これは、利用者が読経に集中することなく適切な音程で朗読できるようになっていると考えられるからである。
【0099】
次に、練度出力部178は、練度の評価を出力する(ステップS403)。練度出力部178は、ステップS401で算出された全期間における音程の評価、情動の評価および感情の判定を項目別評価表示領域G41に含み、ステップS401で評価された練度を練度表示領域G42に含む練度評価画面G4の表示データを生成する。練度出力部178は、生成された表示データを表示部15に供給する。以上で、練度評価処理は終了する。
【0100】
以上説明したように、読経支援装置1は、経文の文字区分ごとに、朗読音声の音程および利用者の情動を評価し、文字区分の朗読が終わるたびに、音程の評価および情動の評価を出力する。これにより、読経支援装置1は、読経をする利用者の朗読音声および情動の評価をリアルタイムに提示することを可能とする。
【0101】
また、読経支援装置1は、利用者による宗派の選択を受け付け、宗派の選択に応じて、利用者の息継ぎのタイミングを提示することにより、または、所定の間隔で木魚の音を出力することにより、読経の速度または経文の朗読期間を提示する。これにより、読経支援装置1は、利用者の宗派にかかわらず、利用者の読経を支援することを可能とする。
【0102】
また、読経支援装置1は、音程の評価と情動の評価とを、単一の炎の色と形状とを用いて表示する。これにより、読経支援装置1は、読経をしている利用者が朗読音声の評価および情動の評価の両方を容易に把握することを可能とする。
【0103】
また、読経支援装置1は、利用者の感情を判定し、音程の評価、情動の評価および感情の判定の組合せに基づいて、利用者の読経の練度を評価する。これにより、読経支援装置1は、利用者が練度に適した経文および朗読の速度を選択することを可能とする。
【0104】
上述した説明では、読経支援処理のステップS101において、受付部171が宗派の選択を受け付けるものとしたが、このような例に限られない。例えば、受付部171は宗派の選択を受け付けなくてもよい。また、受付部171は宗派の選択に代えて任意の経文の種類の選択を受け付けてもよい。メンタルヘルスを改善するトレーニングとしての読経においては、自身の宗派とは異なる経文を朗読することも想定される。受付部171が経文の種類の選択を受け付けることにより、様々な経文を朗読したいと考える利用者の需要に応えることができる。
【0105】
上述した説明では、第1読経処理のステップS203および第2読経処理のステップS303において、提示部172は利用者の動画像のデータの取得を開始するものとしたが、このような例に限られない。提示部172は、動画像に代えて利用者を連続して撮像した複数の静止画像のデータを取得してもよい。利用者を連続して撮像した複数の静止画像は、連続的に得られた画像の他の一例である。
【0106】
上述した説明では、第1読経処理のステップS206および第2読経処理のステップS306において、音程評価部173が朗読期間における基本周波数の最大値と最小値の差分に基づいて音程の変動量を判定するものとしたが、このような例に限られない。例えば、基本周波数に代えて、音声信号のスペクトル包絡のピーク周波数等が用いられてもよい。また、最大値と最小値の差分に代えて、標準偏差等が用いられてもよい。
【0107】
上述した説明では、第1読経処理のステップS208および第2読経処理のステップS308において、出力部175が炎の色と形状とを用いて音程および情動の評価を表示するものとしたが、このような例に限られない。例えば、出力部175は、炎とは異なる任意のオブジェクトを評価表示領域G23またはG33に表示し、そのオブジェクトの色と形状とを用いて音程および情動の評価を表示してもよい。また、出力部175は、色と形状とは異なる二種類の表示態様の組合せを用いて音程および情動の評価を表示してもよい。例えば、出力部175は、炎の基本的な形状と、形状の時間変化との組合せを用いて、音程および情動の評価を表示してもよい。出力部175は、炎の色の色相と明度とを用いて音程および情動の評価を表示してもよい。その他、出力部175は、単一の表示領域に、二種類の異なる表示態様を用いて音程および情動の評価を表示してもよい。また、出力部175は、音声を用いて音程および情動の評価を出力してもよい。
【0108】
上述した説明では、感情判定部176は、読経が終了した後の練度評価処理のステップS401において利用者の感情を判定するものとしたが、このような例に限られない。感情判定部176は、読経が開始してから感情判定期間が経過するたびに、その感情判定期間における利用者の感情を判定してもよい。この場合において、出力部175は、利用者の感情が判定されるたびに、感情の判定を第1読経支援画面に表示することにより出力してもよい。これにより、利用者は感情の判定をリアルタイムに把握することができるようになる。
【0109】
読経支援装置1の各機能は、複数の装置によって実現されてもよい。例えば、処理部17によって実行される処理は読経支援装置1と通信するサーバによって実行され、読経支援装置1が処理の結果をサーバから受信してもよい。また、利用者の撮像が監視カメラやIP(Internet Protocol)カメラ等の外部の撮像装置によって行われ、読経支援装置1は、外部の撮像装置と通信することにより利用者の動画像または静止画像を取得してもよい。この場合、読経支援装置1は撮像部12を有しなくてもよい。
【0110】
当業者は、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0111】
1 読経支援装置
171 受付部
172 提示部
173 音程評価部
174 情動評価部
175 出力部
176 感情判定部
177 練度評価部
178 練度出力部