特開 2024-14547 状態判定方法および状態判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014547

(43)【公開日】2024-02-01

(54)【発明の名称】状態判定方法および状態判定プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240125BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022117452

(22)【出願日】2022-07-22

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】堀 陽一郎

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC14

(57)【要約】      （修正有）

【課題】儀式の出席者の状態を適切に特定する状態判定方法及び状態判定プログラムを提供する。
【解決手段】状態判定方法は、取得する処理と、検出する処理と、判定する処理とをコンピュータが実行する。取得する処理は、儀式の出席者を撮影した画像データを取得する。検出する処理は、取得した画像データに基づいて出席者の特定の動作を検出する。判定する処理は、特定の動作の検出時に儀式において実施されていたイベントに基づいて、特定の動作に対応した出席者の状態を判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

儀式の出席者を撮影した画像データを取得し、
取得した前記画像データに基づいて前記出席者の特定の動作を検出し、
前記特定の動作の検出時に前記儀式において実施されていたイベントに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
処理をコンピュータが実行することを特徴とする状態判定方法。

【請求項2】

前記判定する処理は、前記特定の動作の検出時に第１のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を第１の状態と判定し、前記特定の動作の検出時に前記第１のイベントとは異なる第２のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を前記第１の状態とは異なる第２の状態と判定する、
ことを特徴とする請求項１に記載の状態判定方法。

【請求項3】

前記特定の動作は、前記出席者の頭の上下動であり、
前記判定する処理は、前記上下動の検出時に前記儀式において実施されていたイベントに基づいて、前記上下動に対応した前記出席者の居眠りまたは前記出席者の頷きを判定する、
ことを特徴とする請求項１に記載の状態判定方法。

【請求項4】

前記儀式は法要であり、
前記判定する処理は、前記特定の動作の検出時に読経が実施されていたか説法が実施されていたかに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
ことを特徴とする請求項１に記載の状態判定方法。

【請求項5】

前記取得する処理は、ネットワークを介して接続する端末装置が前記出席者を撮影した画像データを取得する、
ことを特徴とする請求項１に記載の状態判定方法。

【請求項6】

前記儀式の進行順に実施されたイベントごとに、判定した前記出席者の状態を表示する処理をさらに前記コンピュータが実行する、
ことを特徴とする請求項１に記載の状態判定方法。

【請求項7】

前記判定する処理は、前記儀式に出席した複数の出席者ごとに、当該出席者の状態を判定し、
前記表示する処理は、前記複数の出席者の状態の集計結果を表示する、
ことを特徴とする請求項６に記載の状態判定方法。

【請求項8】

儀式の出席者を撮影した画像データを取得し、
取得した前記画像データに基づいて前記出席者の特定の動作を検出し、
前記特定の動作の検出時に前記儀式において実施されていたイベントに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
処理をコンピュータに実行させることを特徴とする状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、状態判定方法および状態判定プログラムに関する。

【背景技術】

【0002】

近年、コロナ禍等により、人との直接的な接触を避けたオンライン参加型のサービス形態が用意されている。このオンライン参加型のサービス形態では、祭祀、法要などの儀式についても、儀式を執り行う僧侶および儀式の出席者がオンラインで参加するものがある。

【0003】

このようなオンライン参加型の儀式では、儀式を執り行う僧侶が読経や説法時の出席者の状態を直接的に感じ取ることができないので、出席者が儀式に満足しているか否かを評価しづらいという問題がある。儀式の評価を行うための従来技術としては、祭祀中の祭祀者を撮像した映像を学習モデルに入力することで、祭祀の正否の判定を示す正否情報を得るものが知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１６６８７２号公報

【特許文献2】特開２０２０－１６６３８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術では儀式の中のイベントに関係なく一律に評価されるため、イベントに対応して出席者の状態を適切に特定することが困難であるという問題がある。例えば、法要時に出席者の頭が上下に動いている場合、読経中であれば出席者が居眠りしていることを主に示すが、説法中の場合は居眠りではなく出席者が僧侶の言葉に頷いていることを主に示している。

【0006】

１つの側面では、儀式の出席者の状態を適切に特定できる状態判定方法および状態判定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、状態判定方法は、取得する処理と、検出する処理と、判定する処理とをコンピュータが実行する。取得する処理は、儀式の出席者を撮影した画像データを取得する。検出する処理は、取得した画像データに基づいて出席者の特定の動作を検出する。判定する処理は、特定の動作の検出時に儀式において実施されていたイベントに基づいて、特定の動作に対応した出席者の状態を判定する。

【発明の効果】

【0008】

儀式の出席者の状態を適切に特定できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例にかかるシステム構成例を示すブロック図である。

【図2】図２は、法要処理の一例を示すフローチャートである。

【図3】図３は、法要時の表示画面の一例を示す説明図である。

【図4】図４は、集計画面の一例を示す説明図である。

【図5】図５は、コンピュータ構成の一例を説明する説明図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、実施例にかかる状態判定方法および状態判定プログラムを説明する。実施例において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施例で説明する状態判定方法および状態判定プログラムは、一例を示すに過ぎず、実施例を限定するものではない。また、以下の各実施例は、矛盾しない範囲内で適宜組みあわせてもよい。

【0011】

＜システム概要＞
図１は、実施例にかかるシステム構成例を示すブロック図である。図１に示すように、システム１００は、音声やビデオを始めとするチャット機能を介してオンラインの法要、例えばお参りや葬儀、年忌、回忌、報恩講などの追善供養の行事全般を実施するオンライン法要サービスを提供するものである。

【0012】

具体的には、システム１００は、インターネット２等のネットワークを介して端末装置Ｔ１０、Ｔ１１、Ｔ１２がサーバ装置１に接続する構成である。なお、本実施例では、オンライン参加型の儀式の一例としてオンライン法要を例示するが、オンラインで提供する儀式については法要に限定するものではなく、例えば祭祀などであってもよい。

【0013】

端末装置Ｔ１０は、法要を執り行う僧侶等のユーザＨ１０が用いる端末装置である。端末装置Ｔ１１、Ｔ１２は、法要に出席する出席者Ｈ１１が用いる端末装置である。僧侶等のユーザＨ１０、法要に出席する出席者Ｈ１１は、端末装置Ｔ１０、Ｔ１１、Ｔ１２よりインターネット２を介してサーバ装置１に接続することで、オンラインで法要に参加する。

【0014】

これら端末装置Ｔ１０、Ｔ１１、Ｔ１２については、オンラインで法要を行う際に、利用者に対して法要中の模様（他の利用者等）を表示するためのディスプレイ、法要時における僧侶等の音声を出力するスピーカ、利用者の音声を取得するマイク、利用者を撮影するカメラ等を備えるものであればいずれであってもよい。例えば、端末装置Ｔ１０、Ｔ１１、Ｔ１２については、ＰＣ（Personal Computer）、タブレット端末、スマートフォンなどを適用できる。

【0015】

サーバ装置１は、上記のオンライン法要サービスを提供するコンピュータの一例である。例えば、サーバ装置１は、上記のオンライン法要サービスを実現するオンライン法要機能をオンプレミスに提供するサーバとして実現できる。この他、サーバ装置１は、ＰａａＳ（Platform as a Service）型、あるいはＳａａＳ（Software as a Service）型のアプリケーションとして実現することで、上記のオンライン法要機能をクラウドサービスとして提供できる。

【0016】

＜サーバ装置の詳細＞
具体的には、サーバ装置１は、通信部１０、制御部２０および記憶部３０を有する。

【0017】

通信部１０は、インターネット２等のネットワークを介して外部装置（例えば端末装置Ｔ１０、Ｔ１１、Ｔ１２）との間で各種データを送受信する。通信部１０は、通信装置の一例である。

【0018】

例えば、通信部１０は、オンライン法要時において、インターネット２を介して接続された端末装置Ｔ１０、Ｔ１１、Ｔ１２より、利用者を撮影した画像データ、利用者の音声データなどを受信する。また、通信部１０は、オンライン法要時において、端末装置Ｔ１０、Ｔ１１、Ｔ１２より受信したデータに基づいて生成した配信データを、端末装置Ｔ１０、Ｔ１１、Ｔ１２に配信する。例えば、この配信データには、僧侶等のユーザＨ１０を含む仏殿の映像および出席者Ｈ１１等の映像を並べた表示画面と、僧侶等のユーザＨ１０の音声とが含まれる。

【0019】

制御部２０は、法要処理部２１、データ取得部２２、音声認識部２３、出席者動作検出部２４、状態特定部２５、法要記録部２６および表示処理部２７を有する。制御部２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

【0020】

法要処理部２１は、オンライン法要サービスを実現するオンライン法要機能を、ＰａａＳ型、あるいはＳａａＳ型のアプリケーションにより提供する処理部である。具体的は、法要処理部２１は、端末装置Ｔ１０における僧侶等のユーザＨ１０の操作により、法要ＤＢ３２の中から執り行う法要の選択を受け付ける。これにより、法要処理部２１は、選択された法要のオンライン法要を開始する。

【0021】

ついで、法要処理部２１は、開始した法要について法要ＤＢ３２に予め設定された参加人情報に含まれる出席者Ｈ１１…からのログイン認証等を端末装置Ｔ１１、Ｔ１２…より受け付ける。これにより、出席者Ｈ１１…は、オンライン法要に参加する。このように出席者Ｈ１１…がオンライン法要に参加した後、法要処理部２１は、データ取得部２２が端末装置Ｔ１０、Ｔ１１、Ｔ１２より取得したデータをもとに前述した配信データを生成し、端末装置Ｔ１０、Ｔ１１、T12に対して生成した配信データを配信する。このように、法要処理部２１は、音声やビデオを始めとするチャット機能を介してオンラインの法要を提供する。

【0022】

また、法要処理部２１は、オンライン法要サービスの提供時において、法要内に執り行われるイベントの進行状態を管理する。具体的には、法要処理部２１は、インターネット２を介して接続された端末装置Ｔ１０より、法要を執り行う僧侶等のユーザＨ１０からイベント（例えば読経、説法）の開始および終了の操作指示を受け付ける。法要処理部２１は、この操作指示をもとに、現時点で執り行われているイベント（例えば読経、説法）を管理する。

【0023】

データ取得部２２は、端末装置Ｔ１０、Ｔ１１、Ｔ１２よりデータを取得する処理部である。具体的には、データ取得部２２は、オンライン法要時において、インターネット２を介して接続された端末装置Ｔ１０より、法要を執り行う僧侶等のユーザＨ１０、法要が執り行われる現場（仏殿など）を撮影した映像と、その現場の音声とを含むデータを取得する。また、データ取得部２２は、オンライン法要時においてインターネット２を介して接続された端末装置Ｔ１１、Ｔ１２より、出席者Ｈ１１…を撮影した映像と、出席者Ｈ１１…の音声とを含むデータを取得する。

【0024】

音声認識部２３は、データ取得部２２が取得したデータに含まれる音声をもとに、音声認識を行う処理部である。具体的には、音声認識部２３は、公知の音声認識処理を行うことで、音声をテキスト化したデータを取得する。例えば、音声認識部２３は、インターネット２を介して接続された端末装置Ｔ１０より取得した音声の認識を行うことで、法要を執り行う僧侶等のユーザＨ１０の音声をテキスト化する。

【0025】

出席者動作検出部２４は、データ取得部２２が端末装置Ｔ１１、Ｔ１２…より取得した画像データに基づいて、出席者Ｈ１１…の特定の動作を検出する処理部である。具体的には、出席者動作検出部２４は、取得した画像データに対して公知の画像認識処理を施すことで、頭の上下動、手の動きなどの特定の動作を検出する。なお、出席者動作検出部２４は、オンライン法要開始時のログイン認証等で識別された出席者Ｈ１１…ごとに、特定の動作の検出を行う。

【0026】

なお、本実施例では出席者動作検出部２４は、特定の動作として頭の上下動を検出するものとするが、検出対象の特定の動作については、頭の上下動に限定するものではない。例えば、特定の動作としては、手の動きの他、肩と頭とが連動した動きなどであってもよい。

【0027】

状態特定部２５は、出席者動作検出部２４が検出した出席者Ｈ１１…の特定の動作をもとに、その出席者Ｈ１１の状態を判定（特定）する処理部である。具体的には、状態特定部２５は、特定の動作の検出時に法要で執り行われていた（実施されていた）イベントに基づいて、出席者Ｈ１１の状態を判定する。なお、この状態判定は、オンライン法要開始時のログイン認証等で識別された出席者Ｈ１１…ごとに行われる。

【0028】

例えば、読経時における出席者Ｈ１１…の頭の上下動は、主に居眠りに起因しているものと推定できる。したがって、状態特定部２５は、頭の上下動の検出時に執り行われていたイベントが読経である場合、頭の上下動に対応した出席者の状態を居眠り状態と判定する。

【0029】

また、説法・挨拶時における出席者Ｈ１１…の頭の上下動は、主に僧侶等の話の内容に感心した出席者Ｈ１１の表意行為としての頷きと推定できる。したがって、状態特定部２５は、頭の上下動の検出時に執り行われていたイベントが説法である場合、頭の上下動に対応した出席者の状態を頷き状態と判定する。

【0030】

なお、頭の上下動の他、手の動きを特定の動作として検出する場合は次のように判定してもよい。例えば、読経時における出席者Ｈ１１…の手の動きは、主に祈り動作等に起因しているものと推定できる。したがって、状態特定部２５は、手の動きの検出時に執り行われていたイベントが読経である場合、手の動きに対応した出席者の状態を祈り状態と判定する。

【0031】

また、説法・挨拶時における出席者Ｈ１１…の手の動きは、主に僧侶等の話の内容に飽きた出席者Ｈ１１の表意行為としての手遊びと推定できる。したがって、状態特定部２５は、手の動きの検出時に執り行われていたイベントが説法である場合、手の動きに対応した出席者の状態を飽き状態と判定する。

【0032】

このように、状態特定部２５は、出席者Ｈ１１…の特定の動作（頭の上下動）を検出した場合、互いに異なるイベント（読経、説法）のそれぞれに対応した出席者Ｈ１１の状態を判定する。

【0033】

法要記録部２６は、オンライン法要の内容を法要記録３３として記録する処理部である。具体的には、法要記録部２６は、オンライン法要開始後からの時刻ごとに、進行中であるイベントを示すイベントデータ、出席者Ｈ１１、Ｈ１２…ごとの状態を示す状態特定部２５の特定内容、音声認識部２３の認識結果などを法要記録３３として記録する。

【0034】

表示処理部２７は、法要記録３３をもとに、執り行われたオンライン法要に関する情報を表示する処理部である。具体的には、表示処理部２７は、僧侶等のユーザＨ１０による端末装置Ｔ１０を介した操作により、表示を行う法要記録３３の指定を受け付ける。ついで、表示処理部２７は、指定された法要記録３３に基づいてオンライン法要の結果を示す表示データを生成し、生成した表示データを端末装置Ｔ１０へ出力する。これにより、端末装置Ｔ１０には、オンライン法要の結果が表示される。

【0035】

例えば、表示処理部２７は、法要記録３３をもとに、法要の時刻ごとに、イベントと、特定した出席者Ｈ１１…の状態（上下動に対応した居眠り回数や頷き回数）とを表示する表示データを生成する。なお、表示処理部２７は、複数の出席者Ｈ１１…の状態の集計結果（例えば上下動に対応した居眠り回数や頷き回数の総計）を表示する表示データを生成してもよい。

【0036】

記憶部３０は、檀家ＤＢ３１、法要ＤＢ３２および法要記録３３を格納する。記憶部３０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0037】

檀家ＤＢ３１は、法要の出席者Ｈ１１等を含む檀家に関する情報を統括管理するデータベースである。具体的には、檀家ＤＢ３１には、檀家ごとにユニークに割り当てられた檀家ＩＤとともに、檀家名、檀家に属する所属人に関する情報（氏名、年齢、性別、住所、生年月日、死亡年月日など）が格納される。

【0038】

法要ＤＢ３２は、法要に関する情報を統括管理するデータベースである。具体的には、法要ＤＢ３２には、法要ごとにユニークに割り当てられた法要ＩＤとともに、法要名（例えば○○回忌）、法要の出席者（僧侶等のユーザＨ１０および出席者Ｈ１１、Ｈ１２…）に関する参加人情報が格納される。

【0039】

法要記録３３は、各法要の内容を記録したデータである。具体的には、法要記録３３には、法要を識別する法要IDとともに、法要時の時刻ごとの、イベント（例えば読経、説法）を示すイベントデータと、出席者Ｈ１１、Ｈ１２…ごとの状態の特定内容と、音声認識などによる認識内容とが含まれる。

【0040】

＜法要処理＞
図２は、法要処理の一例を示すフローチャートである。図２に示すように、処理が開始されると、法要処理部２１は、僧侶等のユーザＨ１０の操作により、オンライン法要を開始する（Ｓ１０）。このオンライン法要の開始により、出席者Ｈ１１…は、端末装置Ｔ１１、T12…を用いてログイン認証等を行うことで、オンライン法要に参加する。

【0041】

オンライン法要の参加により、出席者Ｈ１１…の端末装置Ｔ１１、Ｔ１２…には、前述した配信データに基づく表示画面が表示される。図３は、法要時の表示画面の一例を示す説明図である。

【0042】

図３に示すように、表示画面Ｇ１には、僧侶等のユーザＨ１０を含む仏殿の映像に関する法要画面Ｇ１０と、出席者Ｈ１１～Ｈ１４を撮影した出席者画面Ｇ１１、Ｇ１２とが含まれる。この表示画面Ｇ１により、出席者Ｈ１１～Ｈ１４は、法要時における僧侶等のユーザＨ１０および仏殿の様子や、互いの出席者の様子を確認することができる。

【0043】

ついで、出席者動作検出部２４は、出席者Ｈ１１…の端末装置Ｔ１１、Ｔ１２…より取得した画像をサーチし、１分毎の出席者Ｈ１１…の頭が上下動した回数を法要記録３３に記録する（Ｓ１１）。

【0044】

ついで、音声認識部２３は、僧侶等のユーザＨ１０の端末装置Ｔ１０より取得した音声を識別し、テキスト化したデータを現在時刻とともに法要記録３３に記録する（Ｓ１２）。

【0045】

ついで、状態特定部２５は、法要処理部２１において管理しているイベントを取得し、イベントの判定を行う（Ｓ１３）。状態特定部２５は、判定したイベントが「読経」である場合、１分毎の出席者Ｈ１１…の頭が上下動した回数を居眠り回数と特定する（Ｓ１４）。

【0046】

状態特定部２５は、判定したイベントが「挨拶・説法」である場合、１分毎の出席者Ｈ１１…の頭が上下動した回数を頷き回数と特定する（Ｓ１５）。

【0047】

ついで、法要処理部２１は、僧侶等のユーザＨ１０からの法要終了の操作指示の有無をもとに、法要を終了するか否かを判定する（Ｓ１６）。法要を終了しない場合（Ｓ１６：Ｎｏ）、法要処理部２１は、Ｓ１１へ処理を戻す。

【0048】

法要を終了する場合（Ｓ１６：Ｙｅｓ）、法要処理部２１は、オンライン法要を終了する。オンライン法要終了後、表示処理部２７は、僧侶等のユーザＨ１０による端末装置Ｔ１０を介した操作により集計対象の法要記録３３の選択を受け付ける。ついで、表示処理部２７は、選択された法要記録３３を読み出し、法要結果の集計を行う（Ｓ１７）。具体的には、表示処理部２７は、法要記録３３において時刻ごと（１分毎）に記録されたデータを読み出し、時刻ごとのデータ集計を行う。

【0049】

ついで、表示処理部２７は、集計結果（例えば上下動に対応した居眠り回数や頷き回数の総計）を表示する表示データを生成し、生成した表示データを端末装置Ｔ１０へ出力することで、集計結果の表示を行う（Ｓ１８）。

【0050】

図４は、集計画面の一例を示す説明図である。図４に示すように、集計画面Ｇ２には、法要の進行順を示す時刻ごと（１分毎）の法要時間帯Ｇ２１に対応するイベントの項目Ｇ２２、出席者に関する判定結果Ｇ２３、Ｇ２４および音声認識結果Ｇ２５が含まれている。

【0051】

項目Ｇ２２は、時刻ごと（１分毎）に、その時点で執り行われているイベントを示している。判定結果Ｇ２３は、時刻ごと（１分毎）に、特定の出席者（〇〇太郎）について判定した状態を示している。判定結果Ｇ２４は、時刻ごと（１分毎）に、全ての出席者（檀家合計）の判定結果（状態）を集計したものが示されている。

【0052】

例えば、法要時間帯Ｇ２１が６～３０の間は、執り行われているイベントが「読経」であることから、上下動に対応した居眠り回数が判定結果Ｇ２３、Ｇ２４として提示されている。また、法要時間帯Ｇ２１が３１～４４の間は、執り行われているイベントが「説法」であることから、上下動に対応した頷き回数が判定結果Ｇ２３、Ｇ２４として提示されている。

【0053】

ここで、表示処理部２７は、判定した状態の頻度に応じて表示態様を変更してもよい。具体的には、表示処理部２７は、所定の閾値をもとに、居眠り回数の頻度に応じて表示態様Ｇ３１、Ｇ３２を変更する。一例として、表示処理部２７は、居眠り回数が１０回以上、２０回未満である場合は表示態様Ｇ３１とし、居眠り回数が２０回以上である場合は表示態様Ｇ３２とする。これにより、ユーザＨ１０は、例えば、居眠り回数の頻度が高い時間帯を容易に特定することができる。

【0054】

また、表示処理部２７は、所定の閾値をもとに、頷き回数の頻度に応じて表示態様Ｇ４１、Ｇ４２を変更する。一例として、表示処理部２７は、頷き回数が１０回未満である場合は表示態様Ｇ４１とし、頷き回数が１０回以上である場合は表示態様Ｇ４２とする。これにより、ユーザＨ１０は、例えば、頷き回数の頻度が高い時間帯を容易に特定することができる。

【0055】

以上のように、システム１００のサーバ装置１は、儀式の出席者Ｈ１１を撮影した画像データを取得し、取得した画像データに基づいて出席者Ｈ１１の特定の動作を検出する。サーバ装置１は、特定の動作の検出時に儀式において実施されていたイベントに基づいて、特定の動作に対応した出席者Ｈ１１の状態を判定する。これにより、サーバ装置１は、イベントに対応して出席者Ｈ１１の状態を適切に特定することができる。

【0056】

また、サーバ装置１は、特定の動作の検出時に第１のイベントが実施されていた場合には特定の動作に対応した出席者Ｈ１１の状態を第１の状態と判定し、特定の動作の検出時に第１のイベントとは異なる第２のイベントが実施されていた場合には特定の動作に対応した出席者Ｈ１１の状態を第１の状態とは異なる第２の状態と判定する。これにより、サーバ装置１は、互いに異なる第１のイベントと、第２のイベントのそれぞれに対応した出席者Ｈ１１の状態を特定することができる。

【0057】

また、サーバ装置１は、出席者Ｈ１１の頭の上下動の検出時に儀式において実施されていたイベントに基づいて、上下動に対応した出席者Ｈ１１の居眠りまたは出席者Ｈ１１の頷きを判定する。これにより、サーバ装置１は、イベント実施時の出席者Ｈ１１の頭の上下動より、そのイベントに対応して出席者Ｈ１１の居眠りまたは頷きを特定することができる。

【0058】

また、サーバ装置１は、特定の動作の検出時に読経が実施されていたか説法が実施されていたかに基づいて、特定の動作に対応した出席者Ｈ１１の状態を判定する。これにより、サーバ装置１は、法要中に実施される読経または説法に対応して出席者Ｈ１１の状態を特定することができる。

【0059】

また、サーバ装置１は、ネットワークを介して接続する端末装置Ｔ１１が出席者Ｈ１１を撮影した画像データを取得する。これにより、サーバ装置１は、ネットワークを介して儀式に参加する出席者Ｈ１１の状態を特定することができる。

【0060】

また、サーバ装置１は、儀式の進行順に実施されたイベントごとに、判定した出席者Ｈ１１の状態を表示する。これにより、僧侶などのユーザＨ１０は、イベントごとの出席者Ｈ１１の状態を容易に知ることができる。

【0061】

また、サーバ装置１は、儀式に出席した複数の出席者Ｈ１１、Ｈ１２ごとに、出席者の状態を判定し、この複数の出席者の状態の集計結果を表示する。これにより、僧侶などのユーザＨ１０は、イベントごとの複数の出席者の状態の集計結果より、各イベントにおける全体の雰囲気を容易に推定することができる。

【0062】

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0063】

また、サーバ装置１の制御部２０における法要処理部２１、データ取得部２２、音声認識部２３、出席者動作検出部２４、状態特定部２５、法要記録部２６および表示処理部２７の各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、サーバ装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

【0064】

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図５は、コンピュータ構成の一例を説明する説明図である。

【0065】

図５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカ２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、サーバ装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。

【0066】

ハードディスク装置２０９には、上記の実施例で説明した機能構成（例えば法要処理部２１、データ取得部２２、音声認識部２３、出席者動作検出部２４、状態特定部２５、法要記録部２６および表示処理部２７）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

【0067】

ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えば法要処理部２１、データ取得部２２、音声認識部２３、出席者動作検出部２４、状態特定部２５、法要記録部２６および表示処理部２７）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。

【0068】

以上の実施例に関し、さらに以下の付記を開示する。

【0069】

（付記１）儀式の出席者を撮影した画像データを取得し、
取得した前記画像データに基づいて前記出席者の特定の動作を検出し、
前記特定の動作の検出時に前記儀式において実施されていたイベントに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
処理をコンピュータが実行することを特徴とする状態判定方法。

【0070】

（付記２）前記判定する処理は、前記特定の動作の検出時に第１のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を第１の状態と判定し、前記特定の動作の検出時に前記第１のイベントとは異なる第２のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を前記第１の状態とは異なる第２の状態と判定する、
ことを特徴とする付記１に記載の状態判定方法。

【0071】

（付記３）前記特定の動作は、前記出席者の頭の上下動であり、
前記判定する処理は、前記上下動の検出時に前記儀式において実施されていたイベントに基づいて、前記上下動に対応した前記出席者の居眠りまたは前記出席者の頷きを判定する、
ことを特徴とする付記１に記載の状態判定方法。

【0072】

（付記４）前記儀式は法要であり、
前記判定する処理は、前記特定の動作の検出時に読経が実施されていたか説法が実施されていたかに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
ことを特徴とする付記１に記載の状態判定方法。

【0073】

（付記５）前記取得する処理は、ネットワークを介して接続する端末装置が前記出席者を撮影した画像データを取得する、
ことを特徴とする付記１に記載の状態判定方法。

【0074】

（付記６）前記儀式の進行順に実施されたイベントごとに、判定した前記出席者の状態を表示する処理をさらに前記コンピュータが実行する、
ことを特徴とする付記１に記載の状態判定方法。

【0075】

（付記７）前記判定する処理は、前記儀式に出席した複数の出席者ごとに、当該出席者の状態を判定し、
前記表示する処理は、前記複数の出席者の状態の集計結果を表示する、
ことを特徴とする付記６に記載の状態判定方法。

【0076】

（付記８）儀式の出席者を撮影した画像データを取得し、
取得した前記画像データに基づいて前記出席者の特定の動作を検出し、
前記特定の動作の検出時に前記儀式において実施されていたイベントに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
処理をコンピュータに実行させることを特徴とする状態判定プログラム。

【0077】

（付記９）前記判定する処理は、前記特定の動作の検出時に第１のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を第１の状態と判定し、前記特定の動作の検出時に前記第１のイベントとは異なる第２のイベントが実施されていた場合には前記特定の動作に対応した前記出席者の状態を前記第１の状態とは異なる第２の状態と判定する、
ことを特徴とする付記８に記載の状態判定プログラム。

【0078】

（付記１０）前記特定の動作は、前記出席者の頭の上下動であり、
前記判定する処理は、前記上下動の検出時に前記儀式において実施されていたイベントに基づいて、前記上下動に対応した前記出席者の居眠りまたは前記出席者の頷きを判定する、
ことを特徴とする付記８に記載の状態判定プログラム。

【0079】

（付記１１）前記儀式は法要であり、
前記判定する処理は、前記特定の動作の検出時に読経が実施されていたか説法が実施されていたかに基づいて、前記特定の動作に対応した前記出席者の状態を判定する、
ことを特徴とする付記８に記載の状態判定プログラム。

【0080】

（付記１２）前記取得する処理は、ネットワークを介して接続する端末装置が前記出席者を撮影した画像データを取得する、
ことを特徴とする付記８に記載の状態判定プログラム。

【0081】

（付記１３）前記儀式の進行順に実施されたイベントごとに、判定した前記出席者の状態を表示する処理をさらに前記コンピュータが実行する、
ことを特徴とする付記８に記載の状態判定プログラム。

【0082】

（付記１４）前記判定する処理は、前記儀式に出席した複数の出席者ごとに、当該出席者の状態を判定し、
前記表示する処理は、前記複数の出席者の状態の集計結果を表示する、
ことを特徴とする付記１３に記載の状態判定プログラム。

【符号の説明】

【0083】

１…サーバ装置
２…インターネット
１０…通信部
２０…制御部
２１…法要処理部
２２…データ取得部
２３…音声認識部
２４…出席者動作検出部
２５…状態特定部
２６…法要記録部
２７…表示処理部
３０…記憶部
３１…檀家ＤＢ
３２…法要ＤＢ
３３…法要記録
１００…システム
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカ
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
Ｇ１…表示画面
Ｇ２…集計画面
Ｇ１０…法要画面
Ｇ１１…出席者画面
Ｇ１２…出席者画面
Ｇ２１…法要時間帯
Ｇ２２…項目
Ｇ２３、Ｇ２４…判定結果
Ｇ２５…音声認識結果
Ｇ３１～Ｇ４２…表示態様
Ｈ１０…ユーザ
Ｈ１１～Ｈ１４…出席者
Ｔ１０～Ｔ１２…端末装置

【図1】

【図2】

【図3】

【図4】

【図5】