(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062752
(43)【公開日】2023-05-09
(54)【発明の名称】プログラム、情報処理装置及び方法
(51)【国際特許分類】
G06Q 30/0645 20230101AFI20230427BHJP
【FI】
G06Q30/06 350
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021172839
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】318011370
【氏名又は名称】株式会社THEATER GUILD
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】五十嵐 壮太郎
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB21
(57)【要約】
【課題】音声出力装置の貸し出しの管理を容易にする。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するためのプログラムであって、前記メモリは、前記施設に登録されているユーザの識別情報と、前記音声出力装置の識別情報とを記憶し、前記プログラムは、前記プロセッサに、前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、前記音声出力装置、または前記対象ユーザが使用する前記音声出力装置に設けられた位置情報センサによる位置情報を取得するステップと、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させる、プログラム。
【選択図】
図6
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するためのプログラムであって、
前記メモリは、前記音声出力装置の識別情報を記憶し、
前記プログラムは、前記プロセッサに、
前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、
前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、
前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得するステップと、
前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させる、プログラム。
【請求項2】
前記プログラムは、前記プロセッサに、前記施設内に滞在している前記対象ユーザに対して、前記音声出力装置を介して音声案内を行うことで、前記使用状況を管理するステップを実行させることを特徴とする、請求項1に記載のプログラム。
【請求項3】
前記プログラムは、前記プロセッサに、前記位置情報に応じて、前記対象ユーザに対して個別に音声案内を行うステップを実行させることを特徴とする、請求項2に記載のプログラム。
【請求項4】
前記プログラムは、前記プロセッサに、前記施設において前記音声出力装置を貸し出す複数のユーザを1つのグループとしてグルーピングを行うステップを実行させることを特徴とする、請求項1乃至3のいずれか1項に記載のプログラム。
【請求項5】
前記プログラムは、前記プロセッサに、前記グルーピングされた前記複数のユーザの前記位置情報に応じて、前記グルーピングされた前記複数のユーザのいずれかに対して個別に音声案内を行うステップを実行させることを特徴とする、請求項4に記載のプログラム。
【請求項6】
前記プログラムは、前記プロセッサに、前記グルーピングされた前記複数のユーザのそれぞれの前記位置情報から、前記グルーピングされている他の複数のユーザの前記位置情報より所定以上、離れているユーザの前記音声出力装置に対して、音声案内を行うステップを実行させることを特徴とする、請求項5に記載のプログラム。
【請求項7】
前記プログラムは、前記プロセッサに、前記音声出力装置の位置情報を検知できない場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、請求項1乃至6のいずれか1項に記載のプログラム。
【請求項8】
前記プログラムは、前記プロセッサに、前記音声出力装置の位置情報を所定時間以上、検知できない場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、請求項7に記載のプログラム。
【請求項9】
前記プログラムは、前記プロセッサに、前記音声出力装置の状態について異常を検知した場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、請求項1乃至8のいずれか1項に記載のプログラム。
【請求項10】
前記プログラムは、前記プロセッサに、前記音声出力装置に設けられた生体情報取得部から、前記対象ユーザの生体情報を取得するステップを実行させることを特徴とする、請求項1乃至9のいずれか1項に記載のプログラム。
【請求項11】
前記プログラムは、前記プロセッサに、前記生体情報取得部より取得した前記生体情報から、前記対象ユーザの集中度解析を行うステップを実行させることを特徴とする、請求項10に記載のプログラム。
【請求項12】
前記プログラムは、前記プロセッサに、前記対象ユーザの集中度解析の結果を前記対象ユーザの識別情報と関連付けて登録するステップを実行させることを特徴とする、請求項11に記載のプログラム。
【請求項13】
前記プログラムは、前記プロセッサに、前記生体情報取得部より取得した前記生体情報に基づき、前記対象ユーザに対して音声案内を行うステップを実行させることを特徴とする、請求項10に記載のプログラム。
【請求項14】
前記プログラムは、前記プロセッサに、
前記施設において、映像情報を1または複数の映像出力装置に出力させ、前記映像情報に対応する音声情報を前記音声出力装置に出力するステップを実行させ、
前記映像情報に対応する音声情報を出力させるステップにおいて、前記対象ユーザが視聴する前記映像出力装置の方向を検知し、前記対象ユーザが視聴する前記映像出力装置に出力されている前記映像情報に対応する前記音声情報を判定して出力することを特徴とする、請求項1乃至13のいずれか1項に記載のプログラム。
【請求項15】
音声を聴収するための施設における音声出力装置の貸出管理を支援するための情報処理装置であって、
前記音声出力装置の識別情報を記憶する記憶部と、
前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得し、
前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得する取得部と、
前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付け、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理する制御部と、を有する情報処理装置。
【請求項16】
プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するための方法であって、
前記メモリは、前記音声出力装置の識別情報を記憶し、
前記方法は、前記プロセッサが、
前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、
前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、
前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得するステップと、
前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させることを特徴とする、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音声出力装置を管理するプログラム及び情報処理装置に関する。
【背景技術】
【0002】
視聴者が音声出力装置を装着し音声を聴収しながら、放映される映像を観覧する施設がある。特許文献1には、音声出力装置を装着したユーザの生体情報を取得し、取得した生体情報に基づき感情を判断したり、集中度合いを判断することについて開示がされている。また、製品の貸し出しを管理するための技術がある。特許文献2には、ICタグを利用して所有者情報を読み出すことで製品の貸し出し情報を管理することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-052965号公報
【特許文献2】特開2005-157855号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
音声出力装置を使用する施設には、音声に応じた映像を放映する場所の他に、飲食をする場所、御手洗などのスペースがあることがある。また、施設内で使用するために音声出力装置を貸し出した場合、紛失、盗難が起こる可能性やユーザが迷子になってしまい音声出力装置の行方がわからなくなってしまう可能性などがある。特許文献1の方法では、施設における音声出力装置の管理の方法について開示がなく、例えば紛失や盗難があっても音声出力装置の行方が容易には把握できなくなる可能性が高い。特許文献2の方法では、所有者が分かるものの、その所有者もしくは音声出力装置の位置を容易に把握できない可能性が高い。
【0005】
本発明は、上記の課題に鑑み、音声出力装置の貸し出しの管理を容易にすることのできるプログラムの提供を目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様におけるプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するためのプログラムであって、前記メモリは、前記音声出力装置の識別情報を記憶し、前記プログラムは、前記プロセッサに、前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得するステップと、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させる。
【発明の効果】
【0007】
本開示によれば、音声出力装置の貸し出しの管理を容易にすることができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態における上映施設の外観の例を示す鳥瞰図である。
【
図2】本実施形態におけるヘッドフォン及び上映施設の一部を示す図である。
【
図3】本実施形態におけるヘッドフォン及び貸し出し管理プログラムのブロック図である。
【
図4】本実施形態におけるコンピュータ20の機能を示す図である。
【
図5】本実施形態における貸し出し処理を示すフローチャートである。
【
図6】本実施形態におけるヘッドフォンの位置情報の管理をする処理を示すフローチャートである。
【
図7】本実施形態における生体情報活用処理を示すフローチャートである。
【
図8】本実施形態におけるデータベースを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。
【0010】
図1は、上映施設の外観の例を示す鳥瞰図である。上映施設は、音声を聴収するための施設であり、例えば映画館のように映像コンテンツの上映を行うスペースと共に、飲食やその他の作業も可能となっている、いわゆるカフェスペースも併設されており、多目的スペースを構成している施設である。
【0011】
図1に示す上映施設には、映像コンテンツの上映を行う上映スペースJと、カフェスペースRとが設けられている。上映スペースJには、上映装置30が設けられている。この上映装置30が映像コンテンツの映像情報を上映する正面側には、映像コンテンツを視聴者Uが聴収するために着座する席Sが設けられている。席Sは、
図1には数人が着座可能なソファとして示しているが、上映装置30が上映する映像コンテンツを観覧可能なものであればどのような席でもよい。視聴者Uは、前述のように映像コンテンツを観覧する際にヘッドフォン10を装着するが、上映スペースJの近傍に設けられているカウンターCで所定の手続きを行うことによりヘッドフォン10(音声出力装置)を借り受けて装着する。
【0012】
カフェスペースRには、飲食するため、またはその他の作業をするための席Tが設けられている。カフェスペースRの利用者は、席Tに着座して飲食やその他の行為(例えば、PC操作)が可能である。上映スペースJの視聴者はヘッドフォン10を装着して映像コンテンツを観覧するため、上映施設1の空間全体には映像コンテンツの音声は出力されていない(一般的な飲食店のように、低い音量によるいわゆるBGMが流されていてもよい)。そのため、カフェスペースRの利用者は、映像コンテンツの音声を気にすることなく飲食やその他の行為が可能である。なお、カフェスペースRの利用者も、ヘッドフォン10を装着することで、上映装置30が上映する映像コンテンツを観覧可能な運用としてもよい。
【0013】
上映施設は、
図1に示すように、映画館のような閉鎖空間とは限られず、例えばコンビニエンスストアのイートインコーナーや、イベントスペースのような商業施設の空間であってもよい。また、飲食店内や、ホテルのラウンジ、マンションのような集合住宅の共有スペースのように、一定の静音性が確保されているスペースにこのような上映施設を設けてもよい。さらに、パチンコやパチスロ店のような遊技施設や、ゲームセンター、アミューズメント施設のように、一定の雑音がある施設にこのような上映施設を設けてもよい。貸し出しを行うのは、上映施設の中だけとは限らず、上映施設の外でヘッドフォン10を借りたユーザが上映施設まで移動することも考えられる。また離れた位置に複数の上映施設があり、ユーザが移動可能な場合も考えられる。
【0014】
聴収用のワイヤレスヘッドフォンを視聴者(例えば、会員登録されているユーザ)に貸し出すことから、ヘッドフォンの貸出管理をする必要がある。例えば、視聴者の入退場に伴うヘッドフォンの貸出/返却を管理するため、どの視聴者にどのヘッドフォンを貸し出したのかを紐付けて把握する必要がある。また、盗難や紛失を防止することも必要である。
【0015】
図2は、音声出力装置としての一例であるヘッドフォン10の外観の例を示す斜視図である。ヘッドフォン10は、映像コンテンツを観覧する視聴者が音声情報を聞くために頭部から両耳を挟むようにして装着する装置である。また、両耳をそれぞれ覆う一対の耳収容部と、一対の耳収容部を支持すると共に視聴者Uの頭部を適度な圧力で押圧することで耳収容部を視聴者Uの耳に装着させるアーム部とから構成されている。なお、ヘッドフォン10はこのような構成に限られず、例えば、アーム部を備えずに耳収容部が視聴者Uの耳たぶに係止するように装着するような構成であってもよい。
【0016】
ヘッドフォン10には、複数の位置測定装置50から発された電波の強さや電波の到達時間を用いてヘッドフォン10の位置を割り出すために用いる位置情報通信部18(位置情報センサ)がある。また、ヘッドフォン10を装着しているユーザの脈拍などを検出する生体情報取得部19や、音声出力部11がある。
【0017】
図3に示す例では、上映装置30の上方に撮影装置40が設けられており、上映装置30が上映する映像コンテンツを観覧している視聴者を撮影している。なお、撮影装置40の配置位置は上映装置30の上方に限られず、視聴者Uを撮影可能な位置であればどのような位置であってもよく、撮影方向もコンピュータ20の制御により可動であってもよい。また、
図3に示す例では、視聴者Uの後方に位置測定装置50が設けられており、映像コンテンツを観覧している視聴者Uの周辺状況を変化させる。位置測定装置50の配置位置も視聴者Uの後方に限られず、位置測定装置50を構成する装置によって最適な位置に配置してもよい。例えば、位置測定装置50が空調装置や照明装置として構成されている場合は、上映施設の上方に配置してもよい。
【0018】
<構成>
図2は、本開示の実施形態に係る上映施設を示すブロック構成図である。この上映施設は、映画等の映像コンテンツを上映し、視聴者に映像コンテンツを観覧する機会を提供する施設である。映像コンテンツは、映像情報と音声情報とから構成されており、この上映施設では、上映装置で映像情報を上映し、視聴者が装着するヘッドフォン10で音声情報を出力するように構成されている。
【0019】
また、この上映施設では、視聴者が映像コンテンツを観覧しているとき、視聴者の視聴している状態を撮影し、撮影した画像情報を取得する。さらに、ワイヤレスヘッドフォンには、視聴者の生体情報を取得する生体情報取得装置が取り付けられ、視聴者の生体情報を取得する。これらの画像情報及び生体情報は、視聴者の周辺状況を変化させるために使用される。視聴者の周辺状況とは、限定ではなく例として、視聴者周辺の温度や湿度、色あいや明るさ、または匂いである。
【0020】
さらに、この上映施設では、これらの画像情報及び生体情報を分析することにより、視聴者の表情を分析して視聴者の喜怒哀楽のような感情や、映像コンテンツの視聴に対して集中している度合いを示す情報を取得する。例えば、A/Bテストのようなマーケティング手法を用いて映像コンテンツを評価する手法として使用される。
【0021】
貸し出し管理システム100には、コンピュータ20、上映装置30と、ヘッドフォン(音声出力装置)10と、撮影装置40と、位置測定装置50と、撮影装置40と、ネットワークNWとを有している。コンピュータ20と、上映装置30と、ヘッドフォン10と、撮影装置40と、位置測定装置50とは、ネットワークNWを介して相互に接続される。
【0022】
ネットワークNW80は、通信を行うための通信網であり、限定ではなく例として、インターネット、イントラネット、LAN(Local Area Network)、WAN(Wide Area Network)、ワイヤレスLAN(Wireless LAN:WLAN)、ワイヤレスWAN(Wireless WAN:WWAN)、仮想プライベートネットワーク(Virtual Private Network:VPN)等を含む通信網により構成されている。また、ネットワークNWのその他の構成として、各装置間を無線または有線で接続してもよく、無線で接続する場合、通信プロトコルとして例えば、Z-Wave(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)等が使用されてもよく、有線で接続する場合、USB(Universal Serial Bus)ケーブル等により接続してもよい。
【0023】
コンピュータ20は、映像コンテンツの映像情報を上映装置30に上映させ、音声情報をヘッドフォン10に出力させる制御を行うプログラムであり、映像情報と音声情報とを同期させるように制御を行う。上映する映像コンテンツは、上映施設の管理者により選択されてもよく、コンピュータ20が所定の条件により自動選択してもよい。また、上映施設の管理者、または映像コンテンツの制作者や権利者により、所定の時間に上映するように設定され、その設定に従ってコンピュータ20が上映するように制御してもよい。このような映像コンテンツを上映するため、コンピュータ20では、上映施設に来場した視聴者を管理してもよい。また、視聴者の識別情報(例えば、会員ID)や、視聴者の性別、年齢等の属性情報を格納する会員DB(視聴者属性情報記憶部)を備えてもよく、視聴者をセグメントごとに分類してもよい。
【0024】
また、コンピュータ20は、撮影装置40の動作制御を行い、映像コンテンツを視聴している視聴者を撮影装置40に撮影させ、撮影した画像情報を取得する。さらに、コンピュータ20、映像コンテンツを視聴している視聴者の生体情報を取得する。
【0025】
コンピュータ20では、撮影装置40及び生体情報取得部19から取得した画像情報及び生体情報の分析を行う。コンピュータ20による画像情報の分析は、例えば、画像情報から1または複数の視聴者の顔を識別し、識別した視聴者ごとに顔の表情の分析を行い、視聴者の視聴状態を示す視聴情報を取得することにより行う。視聴者の視聴状態とは、例えば視聴者の感情を示す情報、または視聴者が映像コンテンツの視聴に対して集中している度合いを示す情報であるが、これに限られない。
【0026】
このコンピュータ20は、限定ではなく例として、各種Webサービスを提供するコンピュータ(デスクトップ、ラップトップ、タブレットなど)や、サーバ装置を含む装置等により構成されている。なお、サーバ装置は、単体で動作するサーバ装置に限られず、ネットワークNWを介して通信を行うことで協調動作する分散型サーバシステムや、クラウドサーバでもよい。
【0027】
上映装置30は、コンピュータ20の制御により、映像コンテンツの映像情報を受信して上映を行う装置である。例えば、発光することにより映像情報を上映する、フレームの縁にLED素子を配列したLEDパネルや、発光層が有機化合物により構成された有機ELディスプレイにより構成されている。この上映装置30を構成するLEDパネルは、例えば複数のLEDパネルを並列に配置して数100インチ程度の大型ビジョンとして構成し、一度に大人数の視聴者により視聴が可能になっている。なお、上映施設に設けられる上映装置30は1つに限られず、上映施設1に複数の上映装置30が設けられ、それぞれ異なる映像コンテンツが上映されてもよい。
【0028】
ヘッドフォン10は、上映施設において映像コンテンツを観覧する視聴者の耳を覆うように装着され、コンピュータ20の制御により、映像コンテンツの音声情報を無線通信により受信して音声として出力する装置である。このヘッドフォン10から出力される音声は、上映装置30に上映される映像と同期するように構成されている。なお、複数の上映装置30が設けられ、それぞれ異なる映像コンテンツが上映されている場合、上映されている映像コンテンツに対応する音声情報が出力されるように構成されており、複数の音声情報が出力されるチャネルから選択可能に構成してもよい。なお、ヘッドフォン10は、映像コンテンツの音声情報を無線通信により受信して音声として出力する音声出力装置としての構成であれば他の装置により構成してもよく、例えば、ワイヤレスイヤフォンにより構成してもよい。
【0029】
なお、上映施設では、複数の視聴者がヘッドフォン10を使用するため、それぞれのヘッドフォン10による通信が干渉しないように、周知技術である干渉防止技術を用いてヘッドフォン10が使用される。
【0030】
撮影装置40は、コンピュータ20の制御により、上映施設において映像コンテンツを視聴している視聴者を撮影する装置であり、限定ではなく例として、CCD(Charge Coupled Device)イメージセンサ等の撮像装置と、撮影した画像をデジタル信号からなる画像情報に変換するA/D変換装置とを備えるデジタルカメラ等により構成されている。この撮影装置40は、コンピュータ20の制御により、上映施設における撮影する方向を変更するように構成してもよく、広範囲を撮影可能にするために撮影方向を適宜動かせるように構成してもよい。
【0031】
この撮影装置40は、映像コンテンツを視聴している視聴者を動画として撮影し、または所定の時間間隔で静止画として撮影し、動画または静止画の画像情報への変換を行っている。また、撮影装置40は、撮影した画像情報をコンピュータ20へ送信する。なお、上映施設1に設けられる撮影装置40は1つに限られず、上映施設に複数の撮影装置40が設けられてもよい。
【0032】
コンピュータ20は、制御部21、システムメモリ22、記憶部23、通信I/F24、不揮発性メモリ25、メモリ26、入出力部27からなる。
【0033】
制御部21は、少なくとも1つのプロセッサーを内蔵し、コンピュータ20全体を制御する。不揮発性メモリ25に記録されたプログラムをシステムメモリ22に展開して実行することで、後述する本実施形態の各処理を実現する。
【0034】
システムメモリ22は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。メモリ26は、画像データや、入出力部27に表示するための画像データを格納する。メモリ26は、静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【0035】
記憶部23は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
【0036】
通信I/F24は、コンピュータ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0037】
不揮発性メモリ25は、制御部21によって電気的に消去・記録・読出し可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ25には、制御部21の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャート(もしくはその一部)を実行するためのコンピュータプログラムのことである。
【0038】
コンピュータ20は、特に図示していない機能及び構成(例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など)も有している。コンピュータ20に含まれる各ブロックは、バス等により電気的に接続される。
【0039】
ヘッドフォン10は、音声出力部11、通信I/F12、入力部13、不揮発性メモリ14、制御部15、システムメモリ16、記憶部17、位置情報通信部18、生体情報取得部19、バッテリ101とからなる。
【0040】
制御部15は、少なくとも1つのプロセッサーを内蔵し、ヘッドフォン10全体を制御する。不揮発性メモリ14に記録されたプログラムをシステムメモリ16に展開して実行することで、後述する本実施形態の各処理を実現する。
【0041】
システムメモリ16は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0042】
記憶部17は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
【0043】
位置情報通信部18は、無線通信などでヘッドフォン10の位置を検出するために位置測定装置50を通信するための通信部である。例えば、Wi-Fi(登録商標)を使用したアクセスポイント、RFID(Radio Frequency Identifier)タグを読み取るための通信部(RFIDタグ自体を埋め込み、ヘッドフォン10外で読み取っても良い)などである。また、BLE(Bluetooth(登録商標) Low Energy)(登録商標)での通信を行い、信号の強度によりヘッドフォン10の位置を特定するようにしても良い。その他にも、ヘッドフォン10の位置を特定可能な通信部であればよいが、位置情報通信部18は、位置測定装置50と通信可能でなければならない。
【0044】
生体情報取得部19は、映像コンテンツを視聴している視聴者の生体情報を取得するために配置されており、例えば電極等を備えるセンサにより構成されている。生体情報とは、例えば、視聴者の体温、脳波、心拍数といった情報である。そのため、生体情報取得部19は、体温計、脳波計、または心拍計の機能を備えている。また、生体情報取得部19は、例えば、ヘッドフォン10における視聴者の身体、例えば耳の周辺の皮膚に接触する位置に設けられる。また、視聴者がヘッドフォン10を装着することで視聴者の生体情報を取得できるように、ヘッドフォン10と一体に動作するように構成されている。すなわち、生体情報取得部19が取得した生体情報は、ヘッドフォン10を介してコンピュータ20に取得されるように構成されている。本実施形態では、生体情報取得部19がヘッドフォン10に設けられる構成について説明するが、生体情報取得部19はこのような構成に限られず、例えば視聴者が腕に装着するリストバンド等により構成してもよい。
【0045】
音声出力部11は、スピーカーなどの音声を出力するための出力部であり、音声の大きさの調整に応じて出力する音声量を変更可能である。また、制御部15からの制御を受けて映画や映像に合わせた音楽の他に、ガイダンスなどの通知を行うことも可能である。
【0046】
通信I/F12は、コンピュータ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0047】
入力部13は、ユーザからの入力を受け付ける、物理ボタン部材やタッチパネル式の部材である。入力部13への操作に応じて言語を変更したり、音声量を変更することができる。
【0048】
不揮発性メモリ14は、制御部15によって電気的に消去・記録・読出し可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ14には、制御部15の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャート(もしくはその一部)を実行するためのコンピュータプログラムのことである。
【0049】
バッテリ101は、ヘッドフォン10内蔵される電源部であり、所定の充電部において繰り返し充電可能である。また、バッテリ101の残量は制御部15において取得可能である。
【0050】
コンピュータ20は、特に図示していない機能及び構成(例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など)も有している。コンピュータ20に含まれる各ブロックは、バス等により電気的に接続される。
【0051】
位置測定装置50は、通信I/F53、不揮発性メモリ54、制御部52、システムメモリ55、記憶部51、位置測定部56とからなる。
【0052】
制御部52は、少なくとも1つのプロセッサーを内蔵し、位置測定装置50全体を制御する。不揮発性メモリ54に記録されたプログラムをシステムメモリ55に展開して実行することで、後述する本実施形態の各処理を実現する。
【0053】
システムメモリ55は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0054】
記憶部51は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
【0055】
通信I/F53は、位置測定装置50が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0056】
不揮発性メモリ54は、制御部52によって電気的に消去・記録・読出し可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ54には、制御部52の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャート(もしくはその一部)を実行するためのコンピュータプログラムのことである。
【0057】
位置測定部56は、無線通信などで対象ユーザの位置を検出するため、ヘッドフォン10の位置を検出するための通信部である。例えば、Wi-Fi(登録商標)を使用したアクセスポイント、RFID(Radio Frequency Identifier)タグを読み取るための通信部(もしくはRFIDタグであっても良い)などである。また、BLE(Bluetooth(登録商標) Low Energy)(登録商標)での通信を行い、信号の強度によりヘッドフォン10の位置を特定するようにしても良い。その他にも、ヘッドフォン10の位置を特定可能な通信部であればよいが、位置情報通信部18は、位置情報通信部18と通信可能でなければならない。位置測定装置50は複数、上映施設内に配置される。複数の位置測定装置50の位置測定部56と測定対象となるヘッドフォン10との通信結果に基づき位置を測定する場合には、いずれかの位置測定装置50の制御部52で情報を収集し、位置の測定をしても良い。もしくは、コンピュータ20の制御部21において位置の測定をしても良いし、位置測定のためのコンピュータがコンピュータ20とは別途あっても良い。いずれの場合にも、位置情報を測定する場合には、それぞれのヘッドフォン10に固有のID情報とともに計測結果が管理される。また、タグを読み込むことで位置情報を測定する場合には、位置情報とヘッドフォン10固有のIDとを結びつける。位置測定のために使用する通信はネットワークNW80を介した通信がされることを
図3において示しているが、これに限らず、位置測定のためのネットワークが別途構築されていても良い。例えば、対象ユーザの位置を検出するため、当該ユーザが使用している携帯端末の位置情報を検出してもよい。この場合、ヘッドフォン10には位置情報通信部18を備えなくてもよい。
【0058】
位置測定装置50は、特に図示していない機能及び構成(例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など)も有している。位置測定装置50に含まれる各ブロックは、バス等により電気的に接続される。
【0059】
次に
図4を用いて本実施形態におけるコンピュータ20の機能を説明する。コンピュータ20は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部113、第2無線通信部114)を含み、外部装置との通信を可能としている。
【0060】
アンテナ111は、コンピュータ20が発する信号を電波として放射する。また、アンテナ111は、空間から電波を受信して受信信号を第1無線通信部113へ与える。
【0061】
アンテナ112は、コンピュータ20が発する信号を電波として放射する。また、アンテナ112は、空間から電波を受信して受信信号を第2無線通信部114へ与える。
【0062】
第1無線通信部113は、コンピュータ20が他の無線機器と通信するため、アンテナ111を介して信号を送受信するための変復調処理等を行う。第2無線通信部114は、コンピュータ20が他の無線機器と通信するため、アンテナ112を介して信号を送受信するための変復調処理等を行う。第1無線通信部113と第2無線通信部114とは、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路等を含む通信モジュールである。第1無線通信部113と第2無線通信部114とは、コンピュータ20が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部21へ与える。
【0063】
入出力部27は、操作入力部261、ディスプレイ262、音声入出力部263を有する。操作入力部261は、キーボードやタッチパネル、マウスなどの作業者の入力操作を受け付ける入力部である。キーボードは、文字入力を行う装置であり、入力された文字情報を入力信号として制御部21へ出力する。マウスは、ディスプレイ262に表示されている表示物を選択等するためのポインティングデバイスであり、画面上で選択された位置情報と、ボタン押下されていることを示す情報とを入力信号として制御部21へ出力する。タッチパネルはディスプレイ262に表示された表示物へのタッチ操作を行うことにより、対応する位置に表示された表示物を選択する操作などができる。ディスプレイ262は、制御部21の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ31は、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイによって実現される。ディスプレイ262は、貸し出し中のヘッドフォン10がどのユーザに貸し出されているか、各ヘッドフォンがどこにあるかといった情報も表示可能である。なお、ディスプレイ262と一体的に例えば静電容量方式のタッチパネルを用いることによって、ディスプレイ31に対する作業者の接触位置を検出する、タッチスクリーンとして構成してもよい。
【0064】
音声入出力部263は、マイクとスピーカであり、コンピュータ20を操作する管理者に対して音声での通知をしたり、管理者から各ヘッドフォン10のユーザに対するガイダンスを流すこともできる。
【0065】
記憶部23には、デバイスデータベース231、ユーザデータベース232、動画、音声データベース233、グループデータベース234を有する。デバイスデータベース231は、ヘッドフォン10に関するデータベースである。ユーザデータベース232は、会員情報に関するデータベースである。動画、音声データベース233は上映施設において放映する動画及び音声に関するデータベースである。グループデータベース234は、上映施設に来場したユーザのうち、団体できたユーザのグループ情報を示すデータベースである。これらのデータベースについては、
図8を用いて説明する。
【0066】
図8(a)には、ユーザデータベース232の一例を示す。ユーザデータベース232には、会員として登録されているユーザのユーザ名、ユーザID、電話番号、メールアドレスなど(識別情報)が関連付けられて記憶されていてもよい。この他には不図示だが、決済情報も紐づけていても良い。会員の登録は、オンラインで受け付けても良いし、施設において受け付けても良い。また、属性情報(年齢、性別等)を紐付けて記憶をしても良い。属性情報は、集中度解析やマーケット分析をする際の基礎データとして使用される。
【0067】
図8(b)には、デバイスデータベース231の一例を示す。デバイスデータベース231には、デバイスID(識別情報)、充電量、貸し出しステータス、貸し出し日時、貸し出し中ユーザ情報(会員ID)、グループ情報、位置情報、取得時間が関連付けられて記憶される。なお、グループ情報とは、団体で施設に訪れた複数のユーザのグループを示す情報であり、近くに座ったり、行動をともにする可能性の高いユーザのグループを示す情報を示している。各グループにどのユーザが属しているかは、グループデータベース234に記憶される。位置情報やグループ情報は、デバイスデータベース231に記憶されていなくても良く、デバイスと関連付けて記憶されていれば良い。位置情報は例えば、施設内におけるヘッドフォン10の座標を示す情報である。この時、施設内がいくつかの部屋に区切られている場合には、どこの部屋のどの座標にいるのかを示しても良い。位置情報は逐次更新され、その取得時間もともに更新される。
【0068】
図8(c)には、グループデータベース234は、各グループのグループID、グループ内のユーザNo、貸し出し日時、ユーザNoに対応するユーザ情報(ユーザID)、グループ内の他のユーザとの距離が対応付けられて記憶されている。グループ内の距離は、位置情報に基づき制御部21により更新される。
【0069】
次に、
図5(a)を用いて本実施形態における貸し出し処理を示すフローチャートについて説明をする。この処理は、コンピュータ20の不揮発性メモリ25に記録されたプログラムをシステムメモリ22に展開して制御部21が実行することで実現する。なお、この処理は、コンピュータ20に電源が入ると開始する。
【0070】
S501では、制御部21は、貸し出しを受け付けたか否かを判定する。貸し出し処理は、ユーザからのヘッドフォン10を借りたいという申し出を受付、管理者が例えばディスプレイ262に表示されている貸し出し処理開始のためのアイテムを選択することで受付される。貸し出しを受け付けたと判定した場合は、S502へ進み、そうでない場合は、S506へ進む。
【0071】
S502では、制御部21は、貸し出しを申し出たユーザのユーザ情報をユーザデータベース232から取得する。ユーザ情報(対象ユーザの識別情報)は、会員番号や名前を操作入力部261において入力しても良いし、会員カードの読み取りにより行なっても良い。また、ヘッドフォン10の貸し出し時に対象ユーザの識別情報を取得してもよく、そのときに会員として登録してもよい。ユーザの識別情報は、当該施設が事前に会員登録してあることを要する場合は、その会員であるユーザのユーザID等の識別情報であり、当該施設が事前に会員登録してあることを要しない場合は、当該施設に来訪してその場で登録するユーザのユーザID等の識別情報である。
【0072】
S503では、制御部21は、音声出力装置情報をデバイスデータベース231より取得する。管理者は、例えば、バッテリの残量の多いヘッドフォン10を選んで、選んだヘッドフォン10のデバイスIDを操作入力部261において入力する。もしくは、ヘッドフォン10のリストからいずれかを選択しても良い。デバイスデータベース231において貸し出しステータスが貸し出し中でないデバイス(ヘッドフォン)を貸し出し可能である。
【0073】
S504では、制御部21は、ユーザ情報とヘッドフォン情報とを紐付け、デバイスデータベース231に記憶する。具体的には、貸し出しステータスを貸し出し可能から貸し出し中に変更し、貸し出し日時、貸し出し中ユーザ情報を更新する。
【0074】
S505では、制御部21は、団体で来店したユーザをグループ化して記憶する。グループ化の処理は例えば、管理者が複数のユーザを選択し、グループ化するというアイテムを選択することにより実行しても良いし、一緒に受付をしたユーザを自動でグループ化しても良い。グループ化されたユーザ及びヘッドフォン10の情報は、グループデータベース234に記憶される。
【0075】
S506では、制御部21は、返却を受け付けたか否かを判定する。返却処理は、ユーザからのヘッドフォン10を返却したいという申し出を受付、管理者が例えばディスプレイ262に表示されている返却処理受付のためのアイテムを選択することで受付される。返却を受け付けたと判定した場合は、S507へ進み、そうでない場合は、S508へ進む。
【0076】
S507では、制御部21は、ユーザ情報、ヘッドフォン情報の紐付けを解除する。デバイスデータベース231において、具体的には、貸し出しステータスを貸し出し中から貸し出し可能に変更し、貸し出し日時、貸し出し中ユーザ情報を削除する。この時、貸し出し履歴として削除したデータを記憶しておいても良い。また、グループ情報が記憶されている場合には、グループ情報を削除する。
【0077】
S508では、制御部21は、所定の条件を満たすか否かを判定する。所定の条件とは、ヘッドフォン10の状態について異常を検知した場合、例えば、いずれかのヘッドフォン10の充電量が所定以下になったこと、またはヘッドフォン10が故障したことを検知したことで満たされる。また、所定の条件とは、いずれかのヘッドフォン10の位置が把握できなくなってから所定時間以上が経過したことなどで満たされる。所定の条件が満たされた場合には、S509へ進み、そうでない場合は、S501に戻る。
【0078】
S509では、制御部21は、通知の表示をディスプレイ262において行う。例えば、充電量が10パーセント未満のヘッドフォン10の位置を通知すれば、充電が完全に消失する前に交換をすることができる。また、ヘッドフォン10の位置が測定できない場合には、ユーザが施設外で迷っている、もしくは盗難にあった可能性があるため、管理者が早めに状況を把握し対応することができる。
【0079】
なお、上記の処理以外にも例えば会員登録の処理や、ヘッドフォン10の交換の処理を受け付けることもできる。
【0080】
次に、
図8(b)を用いて、ヘッドフォン10、位置測定装置50、コンピュータ20におけるヘッドフォン10の位置を取得するための処理について説明をする。
【0081】
上述したように、ヘッドフォン10と位置測定装置50とが位置情報を算出(測定)するための通信を行い、位置測定装置50において位置情報を出力する。もしくは位置情報を算出するための情報を出力する。コンピュータ20側では送信された情報に基づき、位置情報を取得しデバイスデータベース231において更新する。もしくは、位置情報を算出し、デバイスデータベース231において更新する。更新の頻度は1分ごとであっても良いし、30秒ごとであっても良い。位置情報が更新されるたびに、位置情報が更新された時間も取得時間として更新される。
【0082】
次に、
図6を用いてヘッドフォンの位置情報の管理をする処理を示すフローチャートについて説明をする。この処理は、コンピュータ20の不揮発性メモリ25に記録されたプログラムをシステムメモリ22に展開して制御部21が実行することで実現する。また、ヘッドフォン10の不揮発性メモリ14に記録されたプログラムをシステムメモリ16に展開して制御部15が実行することで実現する。なお、この処理は、コンピュータ20に電源がはいり、ヘッドフォン10と通信が可能になると開始する。
【0083】
S601では、制御部21は、貸し出し中の各ヘッドフォン10の位置情報を取得する。取得した位置情報は、デバイスデータベース231において更新する。各ヘッドフォン10の位置情報の取得方法については、
図5(b)で説明した通りである。この時、ヘッドフォン10の位置情報を取得した時刻を取得時間として一緒に更新する。また、位置情報が取得できない場合には、位置情報が不明である旨を示す情報を記憶する。例えば、
図8(b)のデバイスID、AFの位置情報が取得できない場合、位置情報が取得できていないことを示す情報をデータベースにおいて更新する。なお、最後に位置情報を取得できた時の位置情報を示しておき、更新していないことを示す表示形態(グレーアウトなど)で表示しても良いし、更新していない旨を併記しても良い。取得時間は最後に位置情報が取得されたタイミングを示すので位置情報が取得できない場合には更新されない。なお、この処理は位置情報算出部211、位置関係判定部212が位置情報取得のための処理を行う。
【0084】
S602では、制御部21は、所定時間以上、位置情報取得できていないヘッドフォン10があるか否かを判定する。すなわち、貸し出し中のヘッドフォン10のうち、所定時間以上位置情報が継続して取得できていないものがあるか否か判定する。S601において位置情報が取得できない場合には、位置情報の取得時間が更新されない。所定時間以上、位置情報取得できていないヘッドフォン10があると判定した場合には、S606へ進み、そうでない場合は、S603へ進む。所定時間とは例えば、20分や30分といった時間である。
【0085】
S603では、制御部21は、撮影装置40で撮影したユーザの画像よりユーザの顔の向きを取得する。ユーザの顔の向きとは、ユーザの見ている方向を示す方向である。上映装置30より複数の異なる映像が放映されている場合には、ユーザの見ている映像に合わせた音声を流した方が良い。制御部21は、各ヘッドフォン10の位置情報と、撮影装置40において取得されたユーザの座っている位置とを比較し、各ユーザの顔の向きとデバイスIDとを結びつけることができる。もしくは、ジャイロセンサ102をヘッドフォン10に配置しておくことで、ユーザの向いている方向と判定しても良い。ジャイロセンサ102は、物体の回転や向きの変化を角速度として検知し、電気信号で出力するセンサである。
【0086】
S604では、制御部21は、S603で取得した各ユーザの顔の向きに応じて、対応するデバイスIDにおいて再生する音声を決定する。例えば、ユーザから見て2つの異なる放映されている場合には、ユーザが右を向けば右側の映像に合わせた音声、左を向けば左側の映像に合わせた音声が流れるようになる。制御部21は、ユーザの顔の向きがいずれの映像の方向に向いているかを判定することで、ユーザの向いている映像に合わせた音声を選択し、対応するデバイスIDのヘッドフォン10に対応する音声を流すように制御する。
【0087】
S605では、制御部15は、S604において制御部21より指示された音声をヘッドフォン10において再生するようにする。音声データは、記憶部23より取得する。
【0088】
S606では、制御部21は、位置情報の取得できていないデバイスについてコンピュータ20側に警告(アラート)を通知する。すなわち、S606においては、所定時間以上、位置情報が取得できていないヘッドフォンのデバイスIDをディスプレイ262に位置情報が取得できないガイダンスとともに表示する。この時、ガイダンスは音声で通知をしても良いし、最後に位置情報が取得された時の位置情報を一緒に表示しても良いし、貸し出し中のユーザの情報を表示しても良い。位置情報を確認できない場合には、盗難が起きた可能性、使用中のユーザが紛失した可能性、ヘッドフォン10が故障した可能性などがある。管理者はアラートの通知を受け取ったことに応じて、使用中のユーザに電話をしたりメッセージを送信し、状況確認をすることができる。
【0089】
S607では、制御部21は、所定のエリアに入っていたヘッドフォン10が所定のエリアより退出したか否かを判定する。所定のエリアとは例えば、映像を上映しているエリアであり、映像を上映しているエリアとして予め定めたエリアの座標内から外に出たヘッドフォン10が検出された場合にS607はYesと判定する。S607において、所定のエリアに入っていたヘッドフォン10が所定のエリアより退出したと判定した場合には、S608へ進み、そうでない場合は、S609へ進む。
【0090】
S608では、制御部21は、退出記録をデバイスデータベース231において更新する。デバイスID、AEはRoom1を退出し、異なるエリアに移動したとする。この時、Room1として規定された座標から取得された位置情報が出た時間が例えば12:00であると記憶される。
【0091】
S609では、制御部21は、所定のエリアから退出したと記憶されたデバイスID(ユーザ)が所定時間以上、所定のエリアに帰ってこないままか否かを判定する。例えば、Room1が映像を視聴するエリアである場合、あるユーザがRoom1に20分以上帰ってこない場合には、ユーザが迷子になっている可能性もある。よって、所定のエリアから出た後、所定時間以上戻ってこない場合には、ユーザに道案内の通知をすることができる。デバイスデータベース231に記録されているRoom1の退出時間から所定時間以上経過した場合には、S609の判定はYesとなる。S609において所定のエリアから退出したと記憶されたデバイスID(ユーザ)が所定時間以上、所定のエリアに帰ってこないままであると判定した場合は、S610へ進み、そうでない場合は、S612へ進む。
【0092】
S610では、制御部21は、S609において所定時間以上、所定のエリアの外にいると判定されたヘッドフォン10に第1のガイダンスを通知する指示をする。電話をしたり、お手洗いに行くために視聴エリアから一旦離れたユーザが元いた視聴エリアに戻りたいが、迷ってしまうことがある。この時、所定エリアまでの道案内をするガイダンス(第1のガイダンス)をヘッドフォン10において通知するように指示することで、ユーザがスムーズに元の視聴エリアに戻ることができる。この時、対象のヘッドフォン10の位置情報に基づく道案内をするガイダンスを通知するように指示をしても良い。
【0093】
S611では、制御部15は、S610において指示された第1のガイダンスを音声出力する。
【0094】
S612では、制御部21は、グルーピングされたデバイス(ヘッドフォン)と所定時間以上、離れた位置にいるヘッドフォン10があるか否かを判定する。グループデータベース234ではグループ内の各ヘッドフォン同士の距離を情報として有している。ここで、グループ内の他のデバイス(ユーザ)全てと所定距離以上離れているデバイス(ユーザ)がある場合には、迷子になっている可能性がある。特に、各ユーザがヘッドフォン10を装着しており、暗くなっている施設内ではグループとして登録した他のメンバーを探しにくい可能性がある。所定時間とは例えば10分や20分といった時間である。S612において、グルーピングされたデバイス(ヘッドフォン)と所定時間以上、離れた位置にいるヘッドフォン10があると判定した場合は、S613へ進み、そうでない場合は、S615へ進む。
【0095】
S613では、制御部21は、S612において所定時間以上、グルーピングされたデバイス(ヘッドフォン)と離れている判定されたヘッドフォン10に第2のガイダンスを通知する指示をする。第2のガイダンスは、所定時間以上グループから離れていると判定されたヘッドフォン10の位置情報の示す位置から、グループ内の他のデバイスの位置情報の示す位置までの道案内、もしくは方向を示すガイダンスである。これにより、グループから離れてしまったユーザが容易に合流することができるし、他のメンバーが移動してしまった場合にも容易に合流することができる。特に、映像の視聴中にはスマートフォンなどの端末の操作が禁止されていることが多いため、ユーザ同士の通信ができない可能性が高い。よって、各ユーザの有するヘッドフォン10において通知をすることでスマートフォンの操作をすることなく、メンバー同士が合流できる。
【0096】
S614では、制御部15は、S613において指示された第2のガイダンスを音声出力する。
【0097】
S615では、制御部21は、生体情報活用処理をする。生体情報活用処理については、
図7を用いて後述する。
【0098】
S616では、制御部21は、各ヘッドフォン10のバッテリ情報を取得する。バッテリ情報は、各ヘッドフォン10の制御部15が取得した各ヘッドフォン10のバッテリ残量を通信I/F12、24を介して取得する。また、取得されたバッテリ情報は、デバイスデータベース231に更新される。
【0099】
S617では、制御部21は、貸し出し中のヘッドフォン10のうち、バッテリ不足になりそうなヘッドフォン10があるか否かを判定する。バッテリ不足になりそうかは例えば10パーセント未満か否か、20パーセント未満か否かで判定をする。バッテリ不足になりそうなヘッドフォン10があると判定した場合は、S618へ進み、そうでない場合は、S601へ進む。
【0100】
S618では、制御部21は、バッテリ情報をコンピュータ20側に通知をすることで、管理者がバッテリ不足になりそうなヘッドフォン10があることを認識できる。具体的には、ディスプレイ262にバッテリが不足になりそうであるとS617において判定されたヘッドフォン10のデバイスIDとバッテリ残量、位置情報を表示する。これにより、管理者はバッテリが不足しそうなヘッドフォン10を使用しているユーザの元へ向かい、早めにヘッドフォン10の交換をすることができる。
【0101】
なお、上記の各判定は、
図6で説明した順番に判定を行う必要はなく、例えば、S602、S607、S609、S612、S617の判定は随時行っても良い。
【0102】
以上、説明した実施形態によれば、ヘッドフォン10の位置情報を取得し、ヘッドフォン10の使用状況を容易に管理することができる。これにより、上映施設におけるユーザへのヘッドフォン10の貸出管理を行い、施設運営を支援することが可能になる。
【0103】
図2(a)に示すように、一対の耳収容部の内側における、視聴者Uの耳の周辺の皮膚に接触する位置には、生体情報取得部19が設けられている。生体情報取得部19は耳収容部内に複数設けられてもよい。また、生体情報取得部19が取得する生体情報の種類により、視聴者Uの皮膚に直接接触するように配置してもよく、視聴者Uの皮膚から離隔するように配置してもよい。なお、このような構成であるため、ヘッドフォン10にはイヤーパッドを装着しないで使用することが望ましいが、イヤーパッドを装着することを妨げるものではない。
【0104】
制御部21では、撮影装置40から取得した画像情報IMから視聴者Uの顔を示す顔画像Fを識別して認識する。制御部21では、顔画像Fを識別する手法として、限定ではなく例として、公知技術である顔認識の手法が用いられる。この顔認識の手法は、例えば、制御部21にデータベースとして保有している顔情報のデータベースと、画像情報IM内の物体を照合し、眉、目、鼻、口のような各パーツと、その物体の輪郭の位置関係とから顔であるか否かを判定することにより行われる。
【0105】
画像情報IMから視聴者Uの顔を認識すると、顔画像Fから、視聴者Uごとに表情の分析を行う。制御部21では、顔画像Fから、視聴者Uの表情を分析して視聴者の感情等を読み取るため、限定ではなく例として、公知技術であるFACS(Facial Action Coding System:顔面動作符号化システム)等の手法が用いられる。FACSは、顔の表情筋のそれぞれにアクションユニットと呼ばれるコードが割り振られ、顔の表情筋の動きに応じて変化するアクションユニットの強度やバランスに対応してそのときの感情を特定する手法であり、人の感情を認識するための人工知能技術である。
【0106】
制御部21では、例えばこのFACSが用いられ、映像コンテンツの開始からの経過時間やシーンごとに、視聴者Uの感情を示す情報や、視聴者の集中度合いが取得される。取得された視聴情報は、上映されていた映像コンテンツに紐づけられ、時系列になるように視聴情報DB(不図示だが記憶部23に記憶されるデータベース)に格納される。
【0107】
また、ユーザデータベース232には、予め視聴者Uの識別情報や属性情報、顔画像情報を記憶しておいても良い。制御部21では、視聴者Uの識別情報や属性情報が格納されているユーザデータベース232の情報に基づき、視聴者Uの顔画像Fから視聴者Uを識別し、視聴者Uの識別情報や属性情報と紐づけて分析を行ってもよい。このような構成にすることにより、視聴者Uの属性ごと、例えば30代男性の嗜好、といった属性に紐づいて分析が可能である。また、上映施設1に複数の上映装置30が設けられ、それぞれ異なる映像コンテンツが上映されている場合に、視聴者Uの属性ごとにどのような映像コンテンツが好まれるか、といった分析も可能である。
【0108】
さらに、制御部21では、ユーザデータベース232の情報に基づき、視聴者Uの識別情報や属性情報と紐づけて分析を行い、上映装置30に上映させる映像コンテンツの制御を行ってもよい。例えば、映像コンテンツが多言語に対応している場合や、映像コンテンツのセリフや字幕のリアルタイムな翻訳が可能である場合、視聴者Uの識別情報や属性情報に基づいて上映する映像コンテンツの言語を適切な言語で(翻訳して)表示してもよい。また、当該言語への翻訳テロップを表示してもよい。このような構成にすることにより、視聴者Uの満足度を向上させることが可能である。
【0109】
図7は、生体情報活用処理を行う流れの一例を示すフローチャートである。
【0110】
S211において、ヘッドフォン10のジャイロセンサ102の動作制御を行い、ジャイロセンサ102の検知信号を、通信I/F12を介してコンピュータ20へ送信する。また、生体情報取得部19の動作制御を行い、生体センサの検知信号を、通信I/F12を介してコンピュータ20へ送信する。
【0111】
S231において、撮影装置40は、撮影した画像データをコンピュータ20へ送信する。
【0112】
S221において、コンピュータ20は、ヘッドフォン10から送信された検知信号を、通信I/F12を介して受け付ける。また、コンピュータ20は、撮影装置40から送信された画像データを、通信I/F24を介して受け付ける。コンピュータ20は、受け付けた検知信号と受け付けた画像データを記憶部23のデータベースにそれぞれ格納する。
【0113】
S222において、コンピュータ20の制御部21において、S221において格納された画像データを取得する。さらに、画像データを解析して視聴者の目を認識して検知し、視聴者の目における目の開き度合いを取得する。
【0114】
S223において、コンピュータ20の制御部21は、S221において格納された画像データを取得する。さらに、画像データを解析して視聴者の目を認識して検知し、視聴者のまばたきの回数を取得する。
【0115】
S224において、コンピュータ20の制御部21は、S221において格納された検知信号を取得する。さらに、ジャイロセンサの検知信号を解析し、検知信号の角速度とその動きの時間から視聴者の顔の動きを取得する。
【0116】
S225において、コンピュータ20の制御部21は、S221において格納された検知信号を取得する。さらに、心電センサの検知信号を解析し、視聴者の生体情報(視聴者の脈拍や体温)を取得する。
【0117】
S226において、コンピュータ20の制御部21は、S222で取得した目の開き度合い、S223で取得したまばたきの回数、S224で取得した顔の動き、S225で取得した生体情報に基づき、視聴者の映像コンテンツに対する満足度を算出する。なお、S226においては、ユーザの集中度解析(目の開き度合いが大きい場合には集中度が高いなど)を行っても良い。さらには、心電センサの検知信号に基づき、心拍数が長期期間高い場合などには、音声案内をし、体調について確認するようにする。
【0118】
S227において、コンピュータ20の制御部21は、S226において算出した満足度をユーザデータベース232に格納し、データベースを更新する。このように、ユーザの満足度解析の結果や集中度解析の結果をユーザデータベース232においてユーザの識別情報と関連付けて登録することで、ユーザにオススメのコンテンツを提示することができる。
【0119】
以上のように、コンピュータ20は、視聴者を撮影した画像データから目の開き度合い、及びまばたきの回数を取得し、センサが検知した検知信号から顔の動き、及び生体情報を取得する。これらの情報から、映像コンテンツに対する満足度を算出する。これにより、映像コンテンツに対する評価を分析することが可能になる。
【0120】
次に、
図1に示す上映施設における、視聴者Uの上映装置30に対する視聴方向を検知する構成について説明する。
【0121】
ここでは、例えば、
図1に示す上映施設における上映装置30が複数設置されてそれぞれ異なる映像コンテンツが上映され、視聴者Uは自己が視聴している映像コンテンツに対応する音声情報を、ヘッドフォン10から聴取しているものとする。コンピュータ20は、それぞれ異なる映像コンテンツの映像情報を複数の上映装置30にそれぞれ出力して上映させ、映像コンテンツに対応する音声情報をヘッドフォン10に出力させる制御を行う。このとき、ヘッドフォン10から出力される音声情報は、ヘッドフォン10に設けられた音声切替装置(スイッチや選択ボタン等)により切り替え可能であり、視聴者Uが視聴している映像コンテンツに対応する音声情報を選択可能に構成してもよい。
【0122】
また、コンピュータ20の制御部21は、上記の撮影装置40から取得した画像情報IMから視聴者Uの顔を示す顔画像Fを認識し、上記の顔認識の手法により視聴者Uの顔の向きを検知してもよい。さらに、制御部21は、ヘッドフォン10に配置されたジャイロセンサ102からの検知信号により、視聴者Uの顔の向きを検知してもよい。ヘッドフォン10は、制御部21が検知した方向に対応する、上映装置30に出力されている映像コンテンツに対応する音声情報を出力する。このとき、
図1に示す上映施設に設けられたビーコン等から取得された位置情報を組み合わせてもよい。
【0123】
なお、上述の実施形態においては、映像と映像にあった音声を流す上映施設を例にして説明をしたが、美術館においてユーザが絵を観察しながらその説明を聞くような場合にも適用可能である。さらに、美術館に限らず、遊園地、水族館などにおいても適用可能である。
【0124】
なお、制御部21、15が行うものとして説明した上述の各種の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【0125】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0126】
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
【0127】
<付記1>
プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するためのプログラムであって、前記メモリは、前記音声出力装置の識別情報を記憶し、前記プログラムは、前記プロセッサに、前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得するステップと、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させる、プログラム。
【0128】
<付記2>
前記プログラムは、前記プロセッサに、前記施設内に滞在している前記対象ユーザに対して、前記音声出力装置を介して音声案内を行うことで、前記使用状況を管理するステップを実行させることを特徴とする、付記1に記載のプログラム。
【0129】
<付記3>
前記プログラムは、前記プロセッサに、前記施設内に滞在している前記位置情報に応じて、前記対象ユーザに対して個別に音声案内を行うステップを実行させることを特徴とする、付記2に記載のプログラム。
【0130】
<付記4>
前記プログラムは、前記プロセッサに、前記施設において前記音声出力装置を貸し出す複数のユーザを1つのグループとしてグルーピングを行うステップを実行させることを特徴とする、付記1乃至3のいずれかに記載のプログラム。
【0131】
<付記5>
前記プログラムは、前記プロセッサに、前記グルーピングされた前記複数のユーザの前記位置情報に応じて、前記グルーピングされた前記複数のユーザのいずれかに対して個別に音声案内を行うステップを実行させることを特徴とする、付記4に記載のプログラム。
【0132】
<付記6>
前記プログラムは、前記プロセッサに、前記グルーピングされた前記複数のユーザのそれぞれの前記位置情報から、前記グルーピングされている他の複数のユーザの前記位置情報より所定以上、離れているユーザの前記音声出力装置に対して、音声案内を行うステップを実行させることを特徴とする、付記5に記載のプログラム。
【0133】
<付記7>
前記プログラムは、前記プロセッサに、前記音声出力装置の位置情報を検知できない場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、付記1乃至6のいずれかに記載のプログラム。
【0134】
<付記8>
前記プログラムは、前記プロセッサに、前記音声出力装置の位置情報を所定時間以上、検知できない場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、付記7に記載のプログラム。
【0135】
<付記9>
前記プログラムは、前記プロセッサに、前記音声出力装置の状態について異常を検知した場合、前記音声出力装置を貸し出す管理者に通知を行うステップを実行させることを特徴とする、請求項1乃至8に記載のプログラム。
【0136】
<付記10>
前記プログラムは、前記プロセッサに、前記音声出力装置に設けられた生体情報取得部から、前記対象ユーザの生体情報を取得するステップを実行させることを特徴とする、付記1乃至9のいずれかに記載のプログラム。
【0137】
<付記11>
前記プログラムは、前記プロセッサに、前記生体情報取得部より取得した前記生体情報から、前記対象ユーザの集中度解析を行うステップを実行させることを特徴とする、付記10に記載のプログラム。
【0138】
<付記12>
前記プログラムは、前記プロセッサに、前記対象ユーザの集中度解析の結果を前記対象ユーザの識別情報と関連付けて登録するステップを実行させることを特徴とする、付記11に記載のプログラム。
【0139】
<付記13>
前記プログラムは、前記プロセッサに、前記生体情報取得部より取得した前記生体情報に基づき、前記対象ユーザに対して音声案内を行うステップを実行させることを特徴とする、付記10に記載のプログラム。
【0140】
<付記14>
前記プログラムは、前記プロセッサに、前記施設において、映像情報を1または複数の映像出力装置に出力させ、前記映像情報に対応する音声情報を前記音声出力装置に出力するステップを実行させ、前記映像情報に対応する音声情報を出力させるステップにおいて、前記対象ユーザが視聴する前記映像出力装置の方向を検知し、前記対象ユーザが視聴する前記映像出力装置に出力されている前記映像情報に対応する前記音声情報を判定して出力することを特徴とする、付記1乃至13のいずれかに記載のプログラム。
【0141】
<付記15>
音声を聴収するための施設における音声出力装置の貸出管理を支援するための情報処理装置であって、前記音声出力装置の識別情報を記憶する記憶部と、前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得し、前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得する取得部と、前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付け、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理する制御部と、を有する情報処理装置。
【0142】
<付記16>
プロセッサと、メモリとを備えるコンピュータに実行させ、音声を聴収するための施設における音声出力装置の貸出管理を支援するための方法であって、前記メモリは、前記音声出力装置の識別情報を記憶し、前記方法は、前記プロセッサが、前記施設において前記音声出力装置を貸し出す対象である対象ユーザの識別情報を取得するステップと、前記対象ユーザに貸与された前記音声出力装置の識別情報と、前記対象ユーザの識別情報とを紐付けるステップと、前記音声出力装置、または前記対象ユーザが使用する端末装置に設けられた位置情報センサによる位置情報を取得するステップと、前記位置情報に基づき、前記対象ユーザによる前記音声出力装置の使用状況を管理するステップと、を実行させることを特徴とする、方法。
【符号の説明】
【0143】
20 コンピュータ、30 上映装置、10 ヘッドフォン(音声出力装置)、40 撮影装置、50 位置測定装置