(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178556
(43)【公開日】2024-12-25
(54)【発明の名称】情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241218BHJP
G06T 19/00 20110101ALI20241218BHJP
【FI】
G06Q50/10
G06T19/00 600
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023096772
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(74)【代理人】
【識別番号】100189751
【弁理士】
【氏名又は名称】木村 友輔
(74)【代理人】
【識別番号】100227857
【弁理士】
【氏名又は名称】中山 圭
(72)【発明者】
【氏名】川西 雄一郎
【テーマコード(参考)】
5B050
5L049
5L050
【Fターム(参考)】
5B050BA09
5B050CA07
5B050DA04
5B050DA05
5B050DA07
5B050EA07
5B050EA19
5B050FA05
5B050FA10
5L049CC11
5L050CC11
(57)【要約】
【課題】参加者が集うイベントを盛況であると感じやすくするための仕組みを提供する。
【解決手段】イベントに参加可能な、イベントに参加するユーザに対応するヒューマンエージェントを含む参加者と当該ユーザに対応しないノンヒューマンエージェントに関する情報を管理する情報処理装置であって、前記イベントにおける参加者とノンヒューマンエージェントとの合計数に関する合計情報と、当該参加者と当該ノンヒューマンエージェントとの合計数の目標に対応する目標情報とを取得する取得手段と、前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御する制御手段とを備えることを特徴とする情報処理装置。
【選択図】
図5
【特許請求の範囲】
【請求項1】
イベントに参加可能な、イベントに参加するユーザに対応するヒューマンエージェントを含む参加者と当該ユーザに対応しないノンヒューマンエージェントに関する情報を管理する情報処理装置であって、
前記イベントにおける参加者とノンヒューマンエージェントとの合計数に関する合計情報と、当該参加者と当該ノンヒューマンエージェントとの合計数の目標に対応する目標情報とを取得する取得手段と、
前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御する制御手段とを備えることを特徴とする情報処理装置。
【請求項2】
前記制御手段は、前記取得手段で取得した前記合計情報に基づき、前記合計数を前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御をおこなうことを特徴とする、請求項1に記載の情報処理装置。
【請求項3】
前記制御手段は、前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも多い場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御することを特徴とする、請求項1に記載の情報処理装置。
【請求項4】
前記制御手段は、前記取得手段で取得した前記合計情報に基づき、前記合計数を前記目標よりも多い場合に前記目標に近づけるように、ノンヒューマンエージェントを前記イベントの会場から削除もしくは撤収させるための制御をおこなうことを特徴とする、請求項3に記載の情報処理装置。
【請求項5】
前記ヒューマンエージェントを介したユーザの前記イベントへの参加及び退場を行うためのログイン及びログアウトの要求を受付ける受付手段を更に備え、
前記制御手段は、前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標の範囲内の場合、当該範囲内の状態を保つべく、前記受付手段がユーザからログイン要求を受付けた場合にはノンヒューマンエージェントをヒューマンエージェントに切替える、または、入替えるための制御をおこない、一方、当該受付手段がログアウト要求を受付けた場合にはヒューマンエージェントをノンヒューマンエージェントに切替える、または、入替えるための制御をおこなうことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記取得手段は、前記情報処理装置の計算処理の負荷を取得可能であって、
前記取得手段で取得した前記情報処理装置の計算処理の負荷に応じて前記目標を変更できる変更手段を更に備えることを特徴とする請求項1に記載の情報処理装置。
【請求項7】
前記参加者には、ヒトまたはヒト以外の生物のうち、少なくともいずれか1つ以上が更に含まれることを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記集客イベントは、仮想空間で行われることを特徴とする請求項1に記載の情報処理装置。
【請求項9】
前記集客イベントは、仮想空間と現実空間を重畳させた状態で映像デバイスに表示されることを特徴とする請求項1に記載の情報処理装置。
【請求項10】
前記合計情報は、所定のエリア内の参加者とノンヒューマンエージェントとの密度であることを特徴とする請求項1に記載の情報処理装置。
【請求項11】
前記合計情報は、所定のエリア内の座席を利用する参加者とノンヒューマンエージェントとの数または利用率であることを特徴とする請求項1に記載の情報処理装置。
【請求項12】
イベントに参加可能な、イベントに参加するユーザに対応するヒューマンエージェントを含む参加者と当該ユーザに対応しないノンヒューマンエージェントに関する情報を管理する情報処理装置における情報処理方法であって、
前記情報処理装置における取得手段が、前記イベントにおける参加者とノンヒューマンエージェントとの合計数に関する合計情報と、当該参加者と当該ノンヒューマンエージェントとの合計数の目標に対応する目標情報とを取得する取得工程と、
前記情報処理装置における制御手段が、前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御する制御工程とを含むことを特徴とする情報処理装置。
情報処理方法。
【請求項13】
イベントに参加可能な、イベントに参加するユーザに対応するヒューマンエージェントを含む参加者と当該ユーザに対応しないノンヒューマンエージェントに関する情報を管理する情報処理装置で読み取り実行が可能なプログラムあって、
前記情報処理装置を、
前記イベントにおける参加者とノンヒューマンエージェントとの合計数に関する合計情報と、当該参加者と当該ノンヒューマンエージェントとの合計数の目標に対応する目標情報とを取得する取得手段と、
前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御する制御手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラムに関する。
【背景技術】
【0002】
近年、XR(Extended Reality)関連技術の向上に伴い、ユーザが操作する「アバタ」を介したバーチャル空間(仮想空間、VR空間)における集客・交流イベントが盛況を博している。
【0003】
更に、近年ではフィジカル空間(現実空間)とバーチャル空間とをリアルタイムにシームレスにつなぐ「コモングラウンド」という考え方が提唱され、注目を集めている。
【0004】
「コモングラウンド」は、フィジカル空間やバーチャル空間に存在するヒト、ヒューマンエージェント、ノンヒューマンエージェントが相互に共通認識を持てる環境を整備し、ヒトやエージェントが共存可能な社会の実現を目指す考え方である。
【0005】
そして、その実現のために、多様なセンシング技術を活用し、フィジカル空間やそこに存在するヒトやモノをデジタル情報として記述することを試みている。
【0006】
このようなプラットフォームが整備・活用できれば、これまでバーチャル空間上で閉じていた集客・交流イベントは、フィジカル空間とインタラクティブに接続されたイベントへと変化すると思われる。
【0007】
特許文献1には、コンテンツを視聴する視聴者グループの形成を好適に調整する技術を提供する方法が記載されている。参加者同士の親密度に応じた組み合わせでユーザをグルーピングすることで、気の合う者同士でイベントを楽しむことができると記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2022―177718号公報
【特許文献2】特開2022―168339号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら特許文献1は、単にイベント開始時に参加者を複数のイベント空間に分散させているに過ぎず、イベントの途中で参加者が増減する点についてはなんら考慮されていない。そのため、イベントの空間内における「過疎な状況」に対応することはできない。
【0010】
そこで本発明は、参加者が集うイベントを盛況であると感じやすくするための仕組みを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明は、イベントに参加可能な、イベントに参加するユーザに対応するヒューマンエージェントを含む参加者と当該ユーザに対応しないノンヒューマンエージェントに関する情報を管理する情報処理装置であって、前記イベントにおける参加者とノンヒューマンエージェントとの合計数に関する合計情報と、当該参加者と当該ノンヒューマンエージェントとの合計数の目標に対応する目標情報とを取得する取得手段と、前記取得手段で取得した前記合計情報に基づき、前記合計数が前記目標よりも少ない場合に前記目標に近づけるように、ノンヒューマンエージェントの参加状態を変更すべく制御する制御手段とを備えることを特徴とする。
【発明の効果】
【0012】
このように本発明によれば、参加者が集うイベントを盛況であると感じやすくするための仕組みを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】本発明のシステム構成の一例を示した構成図である。
【
図2】本発明のハードウエアの構成の一例を示した構成図である。
【
図3】フィジカル空間とバーチャル空間とがインタラクティブに繋がった集客・交流イベントの一例を示した構成図である。
【
図4】空間・映像と、ヒト・エージェントの対応の一例を示した構成図である。
【
図5】ヒトやエージェントの調整についての一例を示した構成図である。
【
図6】バーチャル会場80におけるエージェントの切替の一例を示す構成図である。
【
図9】ユーザからログインやシステムの設定に関する入力を受付けるための表示画面の一例を示した構成図である。
【
図10】ヒトやエージェントの調整についての一例を示した構成図である。
【
図11】本発明のデータテーブルの一例を示した構成図である。
【
図12】集客・交流イベントにおいて、参加者の多いケース、少ないケースの一例を合らした構成図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【0015】
なお、以下の実施形態では、ユーザの入力動作(例えば、操縦、操作、ユーザのトラッキング情報等に基づいた、入力に関する動作)に応じた動作を行うフィジカル空間におけるロボットやドローン、モビリティ等の操作機器を「フィジカルHA(Human Agent)」と称する。また、ユーザの入力動作に応じた動作を行うVR(仮想現実:Virtual Reality)、AR(拡張現実:Augmented Reality)、MR(複合現実:Mixed Reality)等におけるアバタ等のオブジェクトを「バーチャルHA」と称する。そして、フィジカルHAとバーチャルHAの両者を併せて「ヒューマンエージェント(HA)」と称する。
【0016】
また、本実施形態では、ユーザはヒューマンエージェントを通じて、その形態に応じて、フィジカル空間のイベントやバーチャル空間のイベントうちいずれか一方または両方のイベントに参加することができる。
【0017】
そのため、本実施形態におけるイベントの「参加者」には、フィジカル空間(後述のフィジカル会場60)で実施されるイベントに参加可能な生身の生命体であるユーザ(後述のヒト61やそれ以外の生物(ヒト以外の生物))だけでなく、上述のユーザに対応するヒューマンエージェントも含まれる。
【0018】
また、ユーザの動作に応じた動作をさせる対象とはなっていないが、イベントに参加することのできるロボットやドローン、モビリティ等のような機器を「フィジカルNHA(Non Human Agent)」と称する。また、同じくユーザの動作に応じた動作をさせる対象とはなっていないが、イベントに加わることのできるVR、AR、MRにおけるアバタ等のオブジェクトを「バーチャルNHA」と称する。そして、フィジカルNHAとバーチャルNHAの両者を併せて「ノンヒューマンエージェント(NHA)」と呼ぶ。
【0019】
以上のように、本実施形態では、ノンヒューマンエージェントもヒューマンエージェントと同様に、その形態に応じて、フィジカル空間のイベントやバーチャル空間のイベントうちいずれか一方または両方のイベントに参加することができる。
【0020】
また、フィジカルHAとフィジカルNHAを併せて「フィジカルエージェント」、バーチャルHAとバーチャルNHAを併せて「バーチャルエージェント」と称する。
【0021】
図1は、本発明のシステム構成の一例を示した構成図である。
【0022】
情報処理端末10は、フィジカル空間の映像や、「XR(Extended Reality,Cross Reality)映像(AR(Augmented Reality)映像、MR(Mixed Reality)映像、VR(Virtual Reality)映像等を含む)、の視聴、及び、ヒューマンエージェントを動作させるための入力の受付を行う端末であり、映像デバイスや入力のデバイスの役割を果たせる端末である。なお、必ずしも複数の端末でなくとも良く単数でも構わない。
【0023】
視聴や入力受付の手段は既存の各種端末の様々な形態を利用できるものとし、具体例を挙げると、PC11(デスクトップPCやラップトップPC)、携帯端末12(スマートフォンやタブレット端末)、ヘッドマウントディスプレイ13(HMD、VRゴーグル、ヘッドセット等)、トラッカ14等が含まれる。
【0024】
なお、トラッカ14は、身につけて加速度や角速度等を直接検出するものに限定されず、後述のセンシング装置30で得られた映像情報や、測距情報を解析して、これを入力とするような間接的な仕組みも含まれる。
【0025】
情報処理装置20は、エージェントやXR映像(VR映像、AR映像、MR映像等)の生成や制御を実施する装置である。具体的には、例えば、ユーザのログイン、ログアウトの管理、バーチャル空間の生成・管理、フィジカル空間の映像やバーチャル空間における、各種エージェントの配置や動作制御等を実行する。なお、構成図上では一つの装置として描かれており、例えばPCやサーバなどを利用できるが、必要十分な情報処理が実行される仕組みであればよく、処理主体は複数であっても構わない。したがって、例えば、機能別に情報処理主体を分けてもよく、DAO(自律分散型組織)のような情報処理を分散させた実施形態をとってもよい。
【0026】
センシング装置30は、映像(撮影画像)や地物に関する各種の情報を取得する機器で、例えば、フィジカル空間や、そこに存在する物体の形状、位置、挙動、数量、密度といった状態や状況を把握するための各種の情報を取得する。具体的には、例えば、深度情報が取れるネットワークカメラ31やLiDAR32(Light Detection And Ranging)等で3次元データを取得する方法が好適に想定されるが、目的に適うものであればよく、サーモカメラ、赤外線センサ、あるいは複数のネットワークカメラを用いた自由視点映像システムを活用するなど、実施形態に対応させた既知の様々な好適な手段を用いることができるものとする。
【0027】
フィジカルエージェント40は、前述の通り、フィジカル空間に存在するロボットやドローン、モビリティ等の機器であり、このうち、ユーザの挙動や操縦・操作に基づく動作指示を受付けて動作するものを「フィジカルHA41」と、自律的に動作するものを「フィジカルNHA42」と呼ぶ。
【0028】
なお、上記では「機器」と述べたが、フィジカルエージェント40は、
図1では、2足歩行型のロボットをイメージして描かれているが一例にすぎず、フィジカル空間において、「エージェントである」と人が識別できる様々な形状・形態・表現を含む。例えば、置物のような形態であっても構わないし、立体映像のような形態であってもよい。また、表現の一例として、例えばイベント会場に複数のスピーカを配置し、エージェントの移動と位置情報に対応させた立体的な「足音」を出力することで、あたかも透明人間が存在するかのように演出する、といった、視覚以外の感覚器官に存在感を訴えかけるような演出方法も考えられる。(不図示)
【0029】
また、フィジカルエージェント40は、フィジカル空間を移動可能に設けられている。
図1では2足歩行に適したイラストとなっているが、移動形態は、多足、車輪、キャタピラ、飛行等、様々な形態から選択できる。
【0030】
通信ネットワーク50は、本発明の実施にあたって必要となるハードウエア同士(例えば、情報処理端末10、情報処理装置20、センシング装置30、フィジカルエージェント40等)を、通信可能に接続するネットワークである。
【0031】
また、通信ネットワーク50の通信方法は、既存の様々な技術を用いることができる。さらに、有線であっても無線であってもよく、また、WAN(Wide Area Network)であっても、LAN(Local Area Network)であってもよい。
【0032】
図2は、本発明のハードウエアの構成の一例を示した構成図である。本発明におけるハードウエアは、少なくとも情報処理端末10、情報処理装置20、センシング装置30、フィジカルエージェント40が含まれる。
【0033】
201はCPUで、ROM202のプログラム用ROMや外部メモリ211に記憶されたプログラムをRAM203にロードして実行することによりシステムバス204に接続された各デバイスを制御する。また、このROM202のフォント用ROMにはフォントデータ等を記憶し、ROM202のデータ用ROMには各種データを記憶する。203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。202はキーボードコントローラ(入力コントローラ)で、209や図示しないポインティングデバイス、例えばタッチパッドからの入力を制御する。
【0034】
入力コントローラ205は入力デバイス209を制御する。なお入力デバイス209には、タッチパネル(タッチスクリーン)も含まれ、このようなケースでは、入力デバイス209が表示部210(映像を表示する表示画面を映すための表示装置)を兼ねる。
【0035】
また入力デバイス209は、上記に限定されることなく既知のデバイスを活用できるものとする。一例をあげると、後述のセンシングユニット240を用いて対象の動きを取得・解析し、これを入力信号として用いる方法が想定される。具体的には、例えば前述のように、深度計を備えたデプスカメラでバイオロジカルモーションデータを取得し、これをヒューマンエージェントの動作に連動させるといった方法や、加速度センサで所定のジェスチャを検知し、これを所定のコマンドとして識別し、端末を操作するための入力信号として用いる、と言った方法等も考えられる。
【0036】
206はビデオカード(VC)で、表示部210の表示を制御する。
【0037】
207はメモリコントローラで、外部メモリ211(ハードディスク等)とのアクセスを制御する。208はネットワークインターフェースカード(NIC)で、通信ネットワーク140上の通信を制御する。
【0038】
GPSユニットコントローラ220は、GPSユニット221を制御するコントローラである。
【0039】
GPSユニット221は、GPS(Global Positioning System:全地球測位システム)を機能させるために必要な仕組みを組合わせたユニットである。このユニットにより、各ハードウエアは自機の地球上の現在位置や高さに関する情報を取得できる。
【0040】
GPSユニットコントローラ220及び、GPSユニット221は、本実施形態ではPC11や携帯端末12、フィジカルエージェント40に備えられているが、それ以外の情報処理端末10、情報処理装置20、センシング装置30、に備えられていてもよい。
【0041】
カメラユニットコントローラ230は、カメラユニット231を制御するコントローラである。
【0042】
カメラユニット231は、映像を取得するためのユニットであるが、どのような機材でどのような映像を撮影するかについてはその用途に応じて様々な機器が利用できるものとする。具体的には、例えば可視光を映像データにする一般的なデジタルカメラやデジタルビデオカメラのほか、赤外線カメラやハイパースペクトルカメラ等も考えられる。いずれにせよ、映像を構成するための外部情報を、何らかの方法で取り込む仕組みであればよい。
【0043】
カメラユニットコントローラ230及び、カメラユニット231は、PC11や携帯端末12、ヘッドマウントディスプレイ13、ネットワークカメラ31、フィジカルエージェント40に備えられているようにできるが、それ以外の情報処理端末10や情報処理装置20、センシング装置30、に備えられていてもよい。
【0044】
センシングユニットコントローラ240は、センシングユニット241を制御するコントローラである。
【0045】
センシングユニット241は、各種情報を取得するユニットであり、特にセンシング装置30では、前述の通り地物に関する各種の情報を取得するユニットが備えられている。カメラユニット231が兼ねてもよく、フィジカル空間やそこに存在する物体の形状、位置、挙動、数量、密度といった状態や状況を把握するための必要十分な機能を有するユニットを用いることができる。
【0046】
また、特にフィジカルエージェント40では、ハードウエアとその周囲近傍の様々な状態や状況を検知するための必要十分な機能を有するユニットを用いることができる。
【0047】
具体的には、例えば、加速度センサ、ジャイロスコープ、磁力計、温度センサ、近接センサ、気圧計、輝度センサ、周囲光センサなど、用途に応じた既知のセンサを利用できるものとし、GPSユニットコントローラ220、GPSユニット221、カメラユニットコントローラ230、カメラユニット231等が、機能を兼ねていてもよい。
【0048】
その他、情報処理端末10、情報処理装置20、センシング装置30、フィジカルエージェント40それぞれのハードウエアの用途に適したものが備えられているものとする。
【0049】
移動ユニットコントローラ250は、移動ユニット251を制御するコントローラである。
【0050】
移動ユニット251は、ユーザの挙動やユーザから受付けた操作・操縦、あるいは自律プログラムに基づいて、ハードウエアを移動(歩行、走行、飛行、水中推進など)させるために必要な仕組みを組合わせたユニットである。本実施形態ではフィジカルエージェント40に備えられているが、情報処理端末10、情報処理装置20、センシング装置30に備えられていてもよい。
【0051】
移動ユニット251の移動形態は、前述の通り、様々な形態が想定され、歩行、走行、飛行等、環境に合わせた様々な形態のユニットが想定される。
【0052】
スピーカユニットコントローラ260は、スピーカユニット261を制御するコントローラである。
【0053】
スピーカユニット261は、音声の入出力に必要な構成を備えたユニットである。特に情報処理端末10や、フィジカルエージェント40に備えられていることが望ましく、それ以外のデバイスにも必要に応じて備えられていている。
【0054】
図3は、フィジカル空間とバーチャル空間とがインタラクティブに繋がった集客・交流イベントの一例を示した構成図である。
【0055】
図3(a)はフィジカル空間におけるフィジカル会場60の一例を、
図3(b)は、フィジカル会場60にいるヒト61aの装備の詳細を示すとともに、
図13aに連なる吹き出し内には、装着しているヘッドマウントディスプレイ13に映し出されているフィジカル会場60の実写映像とCGを重畳したAR映像あるいはMR映像(まとめて「AR/MR映像」と表現)の一例を模式的に図示している。
図3(c)は、情報処理端末10を操作するユーザとその表示部210に表示されるバーチャル会場80のVR映像の一例をそれぞれ示している。
【0056】
なお、バーチャル会場80は、フィジカル会場60の寸法形状に概ね近しい形に再現されており、いわゆる、デジタルツイン(Digital Twin)、ミラーワールド(Mirror World)といった呼称で呼ばれるバーチャル世界として設けられている。
【0057】
また、フィジカル会場60の地物、AR/MR映像、バーチャル会場80の地物(特に、空間、及び、ヒトや各エージェントの位置や姿勢、挙動等)はインタラクティブに同期されている。
【0058】
具体的には、フィジカル会場60の地物は、センシング装置30や、ヒト61aに装着されたトラッカ14、ヒューマンエージェント41bに内蔵されているセンシングユニット241、によって情報が収集されており、これらの情報がバーチャル空間の地物にも反映される。同じように、バーチャル会場80やAR/MR映像のCGにおける地物情報も、情報処理装置20によって管理され、フィジカル空間のエージェント等の挙動に反映される。
【0059】
このように、フィジカルとバーチャルとがインタラクティブに連携する環境が整っているため、
図3では、ヒト61aとバーチャルHA81aとが、フィジカルHA41bとバーチャルHA81bとが、AR/MR映像のフィジカルHA81cとバーチャルHA81cとが、フィジカルNHA42dとバーチャルNHE82dとが、AR/MR映像のフィジカルNHA82eとバーチャルNHA82eとが、それぞれ同期されて挙動するよう設けられている。
【0060】
例えば、フィジカル会場60にいるヒト61aが、
図6(b)のようにヘッドマウントディスプレイ13aとトラッカ14aとを装着し、AR/MR映像を試聴している状態で右手を挙げたとする。すると、ネットワークカメラ31や、LiDER32が取得した情報、あるいはヒト61aが装着しているトラッカ14が取得した情報が、ヒト61aの挙動に同期されているVR空間のバーチャルHA81aの動作指示として反映され、バーチャルHA81aもインタラクティブに右手を挙げる動作をするよう制御される。
【0061】
同様に、例えば携帯端末12bが、表示部210でVR映像の試聴しているヒト61bのタッチ入力による、バーチャルHA81bをX方向に10歩移動する旨の操作入力を受付けた場合、同期されているフィジカルHA41bとバーチャルHA81bとが、それぞれの空間において10歩移動する動作を実行するよう制御される。
【0062】
また、例えばヘッドマウントディスプレイ13cが、表示部210でVR映像の試聴しているヒト61cからバーチャルHA81cをバンザイさせる旨の操作入力を受付けた場合、同期されているAR/MR映像のバーチャルHA81cとVR画像のバーチャルHA81cとが、それぞれの空間においてバンザイする動作を実行するよう制御される。
【0063】
なお、
図3においては、上述の通り、ヘッドマウントディスプレイ13aの表示部210にAR/MR映像を、携帯端末12bやヘッドマウントディスプレイ13cには、VR映像を、それぞれ表示してる様子が描かれているが、AR画像/MR映像とVR映像とのうちいずれか一方を表示する仕組みであっても、両者を切替え可能に設けている仕組みであってもよい。
また、上記とは別の実施形態として、バーチャル会場80のみの集客イベントで、本発明を実施しても良い。そして、このような実施形態の場合、リンクするフィジカル会場60が存在しないため、バーチャル会場80は製作者の任意に設定することができ、その会場として設定された空間の制約に従って、本発明が実施されることとなる。
また、上記の実施形態とは逆に、フィジカル会場60のみの集客イベント本発明を実施しても良い。そして、このような実施形態の場合、リンクするバーチャル会場80が存在しないため、会場として設定された空間の制約に従って、本発明が実施されることとなる。
【0064】
次に、ノンヒューマンエージェント(NHA)について説明する。
【0065】
フィジカル会場60、AR/MR映像のフィジカルNHA42dや、バーチャル会場80のバーチャルNHA82dは、情報処理装置20の制御指示やフィジカルNHA42dに内蔵された情報処理ユニット(CPU201が外部メモリに記憶された制御プログラムをRAM203にロードして実行することにより実行される動作全般)の自律行動を実行させるためのプログラムに基づいて動作する。
【0066】
続いて、エージェントの切替について説明する。
【0067】
フィジカルHA41とフィジカルNHA42とは、情報処理端末10や情報処理端末20などの切替指示を受付けて切替え可能に設けられている。例えば、
図3(a)のフィジカルHA41bを操作するユーザがログアウトした場合、情報処理端末10や情報処理端末20などの切替指示を受付けて、フィジカルHA41bはフィジカルNHA42bとして動作するよう、モードを切替えることができる。同様に、フィジカルNHA42dを操作したいユーザのログインを受付けた際に、フィジカルNHA42dは情報処理端末10や情報処理端末20などの切替指示を受付けて、フィジカルHA41dとして動作するよう、モードを切替えることができる。
【0068】
また、バーチャルHA81とバーチャルNHA82とは、情報処理端末10や情報処理端末20などの切替指示を受付けて切替え可能に設けられている。
【0069】
例えば、
図3(c)のバーチャルHA81cを操作するユーザがログアウトした場合、情報処理端末10や情報処理端末20などの切替指示を受付けて、バーチャルHA81cはバーチャルNHA82cとして動作するよう、モードを切替えることができる。同様に、バーチャルNHA82eを操作したいユーザのログインを受付けた際に、バーチャルNHA82eは情報処理端末10や情報処理端末20などの切替指示を受付けて、バーチャルHA81eとして動作するよう、モードを切替えることができる。
【0070】
このように設けることで、見かけ上の参加者の密度の変化なく、イベント参加者の増減に柔軟に対応することができる。
【0071】
図4は、空間・映像と、ヒト・エージェントの対応の一例を示した構成図である。
【0072】
図4では、
図3におけるヒト61、フィジカルHA41、フィジカルNHA42、バーチャルHA81、バーチャルNHA82と、フィジカル会場60、AR/MR映像、バーチャル会場80との対応について表している。
【0073】
フィジカル空間60では、ヒト61、フィジカルHA41、フィジカルNHA42が存在できる。また、フィジカルHA41と、フィジカルNHA42とが切替可能に設けられている(点線矢印(イ)が、相互に切換え可能である旨を示している)。
【0074】
バーチャル会場80では、バーチャルHA81、バーチャルNHA82が存在できる。また、バーチャルHA81と、バーチャルNHA82とが切替可能に設けられている(点線矢印(ロ))。
【0075】
AR/MR映像は、ネットワークカメラ31で撮影されたフィジカル会場60に存在するヒト61、フィジカルHA41、フィジカルNHA42を含む実写映像に、情報処理装置20が、バーチャルHA81、バーチャルNHA82というCG(Computer Graphics、コンピュータグラフィックス、オブジェクト、アバタ)を重畳させた映像である。また、フィジカルHA41とフィジカルNHA42とが(点線矢印(ハ))、バーチャルHA81とバーチャルNHA82とが(点線矢印(二))、それぞれ相互に切替え可能に設けられている。
【0076】
次に、フィジカル空間とバーチャル空間のヒトやエージェントの同期について述べる。
【0077】
フィジカル会場60のヒト61は、前述の通りトラッカ14やセンシング装置30によって撮影・センシング・トラッキングされる。そのため、AR/MR映像で実写映像として登場することができるほか、AR/MR映像でヒト61の実写映像に挙動を同期させたバーチャルHA81を重畳表示させることができる(実線(へ))。また、フィジカル会場60のヒト61の挙動は、バーチャル会場80のバーチャルHA81に同期される(実線(ホ))。ただし、ヒト61の挙動をバーチャルHA81の挙動に反映させることはできても、その逆は基本的に困難である(とはいえ、ヒト61に、パワードスーツや作業補助スーツを装着させ、この器具にバーチャルHA81の挙動のフィードバックを行えば、実施可能)。
【0078】
フィジカル会場60のフィジカルHA41は、AR/MR映像で実写映像として登場することができるほか、AR/MR映像でフィジカルHA41の実写映像に挙動を同期させたバーチャルHA81を重畳表示させることができる(実線(ト))。また、フィジカル会場60のフィジカルHA41の挙動は、バーチャル会場80のバーチャルHA81と相互に同期される(実線(チ))。
【0079】
フィジカル会場60のフィジカルNHA42は、AR/MR映像で実写映像として登場することができるほか、AR/MR映像でフィジカルNHA42の実写映像に挙動を同期させたバーチャルNHA82を重畳表示させることができる(実線(リ))。また、フィジカル会場60のフィジカルNHA42の挙動は、バーチャル会場80のバーチャルNHA82と相互に同期される(実線(ヌ))。
【0080】
図5は、ヒトやエージェントの調整についての一例を示した構成図である。
【0081】
適正人数90は、フィジカル会場60やバーチャル会場80のイベントが、「過疎な状況」にも「過密な状況」にもならないよう、イベント開催者(管理者)が予め定めたフィジカル会場60の映像に基づくAR/MR映像やバーチャル会場80において、ヒトやエージェントの「適正な数(あるいは密度、座席の充足率(利用率)、着席者数など)」の値(目標値、目標情報)である。
【0082】
適正人数90として好適な人数や密度は、イベントの性質や種類(例えば、お祭りや、音楽ライブ、学術発表など)によって好適な値が大きく異なるが、盛況であると参加者が感じられる程度の「参加者の人数や密度」数字を設定することが好ましい。
【0083】
とりわけ、集客・交流イベントにおいては、開催場所の種別(フィジカル空間かバーチャル空間か)を問わず、イベント参加者はイベントが盛況であることを期待して参加するため、参加者が少なく会場が閑散としてしいる状況は、参加者は「閑古鳥が鳴いている」と感じてしまうことから好ましくない。
【0084】
したがって、参加者が目標値に達しない場合には、ノンヒューマンエージェントをイベントに加えることで、この問題の解消を図ることが望ましい。
【0085】
一方、「過密な状況」となると、参加者が会場内の移動が困難になる、視界が妨げられて周囲を見渡せなくなる、パーソナルスペースに他者が入りやすくなり、圧迫感を感じやすくなるといった問題を生じる。また、運営者側にとっても過密状態は、計算処理が増加してサーバの負荷が増すので、好ましくない。
したがって、参加者が目標値を超過する場合には、イベントに参加しているノンヒューマンエージェントを減らすことにより、この問題の解消を図ることが望ましい。
【0086】
以上のように設けることで、集客・交流イベントは、過疎にも過密にもならない好適な人数・密度でバランスが保たれ、参加者・運営者双方に好適な状態を実現できる。
【0087】
これに対し、前述の特許文献1は、コンテンツを視聴する視聴者グループの形成を好適に調整する技術を提供する方法が記載されており、参加者同士の親密度に応じた組み合わせでユーザをグルーピングすることで、気の合う者同士でイベントを楽しむことができる旨が記載されている。
【0088】
したがって、イベントにおける「参加者の過度な過密状態を好適に解消する」ことはできても、本発明の目指す好適な状態を実現することはできない。加えて、予め何らかの方法で参加者同士の親密度をデータとして収集・管理しておく必要があるほか、イベント空間が1つしかない場合にはこの方法を用いることができないなど、運用・適用可能な前提条件のハードルが高い点にも課題が残る。
【0089】
また、特許文献2には、プレイヤが所持するキャラクタ(ゲームオブジェクト)を登場させるゲーム内のイベントにおいて、プレイヤが所持するキャラクタが不足している場合に、不足しているキャラクタを補完する仕組みが提示されおり、不足分のオブジェクトを予め持っているデータベースから呼び出すことで、不足を解消できる旨記載されている。
【0090】
したがって、イベント時の「キャラクタの不足を好適に解消する」ことが可能と言えそうだが、特許文献2におけるイベントとは、諸条件を満たした際に「プレイヤが単独で視聴できる単なるコンテンツ」であるに過ぎない。
【0091】
そのため、ゲーム内で流れる「特定のコンテンツ(イベント)」に登場させるための「プレイヤが所持するキャラクタの不足」を解消することはできても、集客・交流イベントにおける「過疎な状況」を解消することはできない。更には、集客・交流イベントにおける「過密な状況」に対応するための仕組みについては何ら言及されておらず、本願発明の課題を解消できる仕組みであるとは言えない。
【0092】
以上から、本件実施例によれば、先に述べた技術的課題を容易に解決することができると言える。
【0093】
なお、
図5では、適正人数90は、(X=5)とするが、値に範囲を持たせても良い。
【0094】
例えば、5≦X≦10など、適正人数90に幅を持たせておき、最小値を割ったらノンヒューマンエージェントを追加投入する、最大値を超えたらノンヒューマンエージェントを撤収・削除する、といった具合に、幅を持たせて運用してもよい。このように柔軟性を設けることで、よりイベントの参加者の増減が自然なものに見えるようになり、イベントの興趣向上に資することができる。
【0095】
また、本実施例では適正人数90を予め定められた値としているが、イベントの途中で値を変更できる構成であってもよく、所定のプログラムに従って、値が決定されるような形態であっても構わない。
【0096】
例えば、計算処理が増大するなどイベントを運営するサーバ(情報処理装置20)の負荷が何らかの原因で高くなった場合には、5≦X≦10の値を3≦X≦5といった具合にシフトさせ、ノンヒューマンエージェントを制御するための負荷を軽減することで情報処理装置20がダウンしてしまうリスクを下げる効果を得る、といった仕組みを設けておくことが考えられる。なぜならば、イベントの安定継続を実現し、イベントの興趣向上に資することができるからである。
【0097】
このように、情報処理装置の計算処理の負荷を取得可能な仕組みを備えておき、負荷の増減に応じて適正人数90を調整できるように設けておけば、サーバをより安定的に運営しやすくすることができる。
[状況αとβについて]
状況αは、イベントが「過疎な状況」の一例を示している。
【0098】
状況αのAR/MR映像は、1人(1体)のヒト61、1体のフィジカルHA41、1体のバーチャルHA81の計3体が存在する。
【0099】
また、状況αのVR映像は、AR/MR映像のヒト61に対応するバーチャルHA81が1体、AR/MR映像のフィジカルHA41に対応するバーチャルHA81が1体、AR/MR映像のバーチャルHA81に対応するバーチャルHA81が1体、計3体が存在する。
【0100】
つまり、適正人数90(X=5)に対し、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合計数は、(H+HA+NHA=3)で、適正人数90(X=5)より小さい値であり、イベントが「過疎な状況」である。
【0101】
状況βは、状況αの「過疎な状況」の不足を解消すべく、ノンヒューマンエージェントが、2体投入された状況の一例を示している。
【0102】
状況βのAR/MR映像は、1人(1体)のヒト61、1体のフィジカルHA41、1体のバーチャルHA81に加え、情報処理装置20の指示に基づいて、1体のフィジカルNHA42と、1体のバーチャルNHA82が投入されている。
【0103】
なお、ここで言うフィジカルNHA42の「投入」とは、
図10に示すように、フィジカル会場60とは別に設けられた待機場所62で控えているフィジカルNHA42が情報処理装置20の指示に基づいて、フィジカル会場60へ移動・会場入りした状態を指している。
【0104】
また、ここで言うバーチャルNHA82の「投入」とは、AR/MR映像にバーチャルNHA82のCGを追加で重畳表示させた状態を指している。
【0105】
状況βのVR映像は、3体のバーチャルHA81に加え、情報処理装置20の指示に基づいて、AR/MR映像のフィジカルNHA42に対応するバーチャルNHA82が1体、AR/MR映像のバーチャルNHA82に対応するバーチャルNHA82が1体、計2体のバーチャルNHA82がバーチャル会場に、追加で表示された状態を指し
【0106】
[状況γと状況δについて]
状況γは、イベントが「過密な状況」の一例を示している。
【0107】
状況γのAR/MR映像は、1人(1体)のヒト61、2体のフィジカルHA41、2体のバーチャルHA81、1体のフィジカルNHA42、1体のバーチャルNHA82の計7体が存在する。
【0108】
また、状況γのVR映像は、AR/MR映像のヒト61、フィジカルHA41、バーチャルHA81にそれぞれ対応するバーチャルHA81が合計5体、フィジカルNHA42、バーチャルNHA82にそれぞれ対応するバーチャルNHA82が合計2体、存在する。
【0109】
つまり、適正人数90(X=5)に対し、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合計数は、(H+HA+NHA=7)で、適正人数90(X=5)より大きい値であり、イベントが「過密な状況」である。
【0110】
状況δは、状況γの「過密な状況」を解消すべく、ノンヒューマンエージェントが、2体削除・撤収された状況の一例を示している。
【0111】
状況δのAR/MR映像は、情報処理装置20の指示に基づいて、状況γから1体のフィジカルNHA42がフィジカル会場60から撤収(=待機場所62へ移動)し、1体のバーチャルNHA82(CG)が削除(表示削除)されている。
【0112】
したがって、状況δのAR/MR映像は、1人(1体)のヒト61、2体のフィジカルHA41、2体のバーチャルHA81となっている。
【0113】
状況δのVR映像は、情報処理装置20の指示に基づいて、AR/MR映像のフィジカルNHA42に対応するバーチャルNHA82が1体、AR/MR映像のバーチャルNHA82に対応するバーチャルNHA82が1体、合計2体のバーチャルNHA82が表示削除されている。したがって、状況δのVR映像は、バーチャル会場80に、AR/MR映像のヒト61、フィジカルHA41、バーチャルHA81にそれぞれ対応する合計5体のバーチャルHA81が存在する。
【0114】
図6は、バーチャル会場80におけるエージェントの切替の一例を示す構成図である。
【0115】
図5においては、イベントの「過疎な状況」「過密な状況」の対応について説明したが、
図6では主に、適正人数90の範囲内の状況におけるバーチャル会場80のエージェントの切替について説明する。
【0116】
図6(a)は、適正人数90(X=3)のバーチャル会場80に、3体のバーチャルHA81(アバタA乃至C)が存在する様子を示している。
【0117】
ここで、バーチャルHA81のうち、「アバタC」を動かしているユーザがログアウトすると、会場内のエージェントの数が適正人数90より少なくなってしまう。
【0118】
そこで、この状況に自然な形で対応する方法が2つ考え
【0119】
[第1の切替方法]
第1の切替方法は、オブジェクトの変更を伴わないエージェントの切替である。
【0120】
図6(b)に示すように、アバタCはオブジェクトを変更することなく、バーチャルHA81からバーチャルNHA82に切替わっている。
【0121】
反対に、
図6(b)の状態で、バーチャル会場80に参加したいユーザがログインすると、
図6(a)に示すように、アバタCはログインしたユーザに割り当てられ、オブジェクトの見た目を変えることなくバーチャルNHA82からバーチャルHA81に切替わる。
【0122】
このような、オブジェクトの変更を伴わないエージェントの切替のメリットは、他の参加者からは、オブジェクトの見かけ上の変化がないため、参加者の入退室が分かりにくく、イベントの興趣を損なわずに済む点にある。
【0123】
[第2の切替方法]
第2の切替方法は、オブジェクトの変更を伴うエージェントの切替である。
【0124】
第1の切替方法は、ログインするユーザがアバタを利用するライセンスを有していて、運営側にその権利がない場合に実施することができない。
【0125】
そこで、エージェントの位置や姿勢はそのままに、オブジェクトの変更を伴うエージェントの切替をする、という方法が考えられる。
【0126】
つまり、
図6(a)でバーチャルHA81の「アバタC」を動かしているユーザがログアウトした場合、
図6(c)に示すように、アバタCのオブジェクトの姿勢や座標を変えることなく、バーチャルHA81からオブジェクトの異なるバーチャルNHA82(アバタD)に切替わる仕組みである。
【0127】
このように設ければ、アバタの位置や姿勢は変わらないため、ライセンスにも配慮しつつ、自然な形でエージェントの切替も実施することができる。
【0128】
以上のような切替方法であれば、周囲の他の参加者からは参加者の増減に気づきにくい形でイベント参加者の入退出が自然に実行できるので、イベントの興趣を損なわずに済み、結果的に従来技術と比べてイベントの興趣向上につなげることが可能となる。
【0129】
【0130】
図7は、本発明のメインフローの一例を示した構成図である。
【0131】
本時実施例のフローの説明においては、具体的には、CPU201が外部メモリに記憶された制御プログラムをRAM203にロードして実行することにより行われるものである。しかし、簡易な表現とすべく情報処理端末10、情報処理装置20、センシング装置30、フィジカルエージェント40を主体として説明する。
【0132】
また、ユーザからの指示の受付の方法は、特に限定されるものではなく、既存の様々な方法を用いることができるものとする。具体的には、例えば、入力デバイス209(KB/ボタン/タッチパネル/ジェスチャ入力/内外から取得したユーザの挙動をトラッキング情報に基づく入力等)や表示部210を介して受けつける様々な方法が含まれる。
【0133】
ステップS701では、センシング装置30は、フィジカル空間60の撮影画像・地物に関する情報(3次元データ及び、ヒト61(H)、フィジカルHA41、フィジカルNHA42の位置、数、密度、状態などを把握するための情報を指す)を取得する。
【0134】
ステップS702では、センシング装置30は、ステップS701で取得した情報を、情報処理装置20に送信する。
【0135】
ステップS703では、情報処理装置20は、ステップS702でセンシング装置30が送信した情報を受信する。
【0136】
ステップS704では、情報処理装置20は、ステップS703で取得した情報に基づき、空間映像を生成する。
【0137】
なお、ここで言う空間映像とは、VR映像やAR/MR映像の空間部分としてユーザが識別するための映像を指す。例えば、VR映像であれば、バーチャル会場80を指し、AR/MR映像であれば、ネットワークカメラ31が撮影した実写映像、ネットワークカメラ31が撮影した実写映像に基づく自由視点映像等が想定される。また、別の実施形態として、撮影画像・地物画像をセンシング装置30ではなく、表示端末10で取得し、後述のステップS704やステップS711を表示端末10側で実施し、表示映像(VR映像や、AR/MR映像)を表示端末10で生成・表示する実施形態をとっても構わない。
【0138】
また、単にデジタルツインではないバーチャル会場80でイベントを実施するようなケースのであれば、フィジカル空間(フィジカル会場60)の情報はないため、このようなケースではS701乃至S703を、省くこともできる。
【0139】
ステップS705では、情報処理端末10は、ユーザから本システムにログインするための指示を受付ける。
【0140】
ステップS706では、情報処理端末10は、ステップS705で指示を受付けたか否かの判定を行う。そして、指示を受付けたと判定された場合にはステップS707へ遷移し、一方、指示を受付けたと判定されなかった場合には、ステップS705へ遷移する。
【0141】
ステップS707では、情報処理端末10は、情報処理装置20にログイン要求を実施する。
【0142】
ステップS708では、情報処理装置20は、ステップS707で情報処理端末10から送信されたログイン要求を受付けて、ログイン処理を実施する。
【0143】
ステップS709では、情報処理装置20は、ステップS703で取得した情報に基づき、ヒト61(H)、ヒューマンエージェント(HA:フィジカルHA41とバーチャルHA81)、ノンヒューマンエージェント(NHA:フィジカルNHA42とバーチャルNHA82)の数または密度を算出、取得する。算出取得の方法は、システム構成に合わせて既存の様々な方法を用いることができる。例えば、フィジカル空間60の撮影映像の映像解析を行ってもよいし、情報処理装置20がVR映像空間80を生成するために実施する演算処理の結果から導いてもよい。
【0144】
ステップS710では、情報処理装置20は、ヒト・ヒューマンエージェント・ノンヒューマンエージェントの数または密度に応じ、空間映像内のヒューマンエージェントとノンヒューマンエージェントの数または密度の調整を実施する。
【0145】
処理の詳細については、
図8にて説明するが、適正人数90の範囲内であれば、ステップS708で受付けたログインに応じて、ノンヒューマンエージェントをヒューマンエージェントに切換え又は入替える処理を行う。また適正人数90の範囲外であれば、範囲内に近づけるべく、ヒューマンエージェントやノンヒューマンエージェントを追加投入または、撤収・削除させるための処理を行なう。
【0146】
ステップS711では、情報処理装置20は、ステップS703で受付けた情報、ステップS708で受付けたログイン要求、ステップS704で生成した空間映像、ステップS710で実施した調整に基づき、情報処理端末10の表示部210で表示させる映像(表示映像)を生成する。
【0147】
なお、ここで言う表示映像とは、情報処理端末10の表示部210で表示するためのVR映像や、AR/MR映像で、ステップS704で生成した空間映像に、バーチャルHA81、バーチャルNHA82といったCGを重畳した映像である。
【0148】
また、情報処理端末10で表示映像を生成する実施例の場合は、次のステップで送信するための情報である情報処理端末10で表示映像を生成にするために必要な情報、例えば、空間の地物情報や、ヒトやエージェントの姿勢や位置情報等を、このステップで生成する。
【0149】
ステップS712では、情報処理装置20は、ステップS711にて生成した表示映像(情報処理端末10で表示映像を生成する実施例の場合は、情報処理端末10で表示映像を生成にするために必要な情報)を情報処理端末10に送信する。
【0150】
ステップS713では、情報処理端末10は、ステップS712で情報処理装置20が送信した情報を受信し、表示部210に表示する。(情報処理端末10で表示映像を生成する実施例の場合は、受信した情報に基づき更に表示映像を生成し、表示部210に表示。また、ステップS708を除く、ステップS703乃至ステップS710の処理の一部または全部を情報処理端末10で実施する形態であってもよい。)
ステップS714では、情報処理端末10は、ログインしたユーザが操作可能なヒューマンエージェント(フィジカルHA41またはバーチャルHA81)を動かすための指示又は、ユーザの挙動を取得する。具体的には、入力デバイス209やセンシングユニット241から情報を取得する。あるいは、センシング装置30から取得(不図示)してもよい。
【0151】
ステップS715では、情報処理端末10は、ステップS714で取得した指示・挙動に基づき、ヒューマンエージェントを動作させる要求を情報処理装置20に送信する。
【0152】
ステップS716では、情報処理装置20は、S715で情報処理端末10から送信された要求を受付け、ヒューマンエージェントを動作させるための処理を行う。
【0153】
ステップS717では、情報処理端末10は、ユーザから本システムからログアウトするための指示を受付ける。
【0154】
ステップS718では、情報処理端末10は、ステップS717で指示を受付けたか否かの判定を行う。そして、指示を受付けたと判定された場合にはステップS719へ遷移し、一方、指示を受付けたと判定されなかった場合には、ステップS713へ遷移する。
【0155】
ステップS719では、情報処理端末10は、情報処理装置20に本システムからログアウトする要求を送信する。
【0156】
ステップS720では、情報処理装置20は、ステップS719で情報処理端末10から送信されたログアウト要求を受付けて、ログアウト処理を実施する。
【0157】
ステップS721では、情報処理端末10は、フローを終了するか否かの判定を実施する。終了すると判定した場合にはフローを終了し、そうでない場合には、ステップS713へ遷移する。
【0158】
ステップS722では、情報処理装置20は、フローを終了するか否かの判定を実施する。終了すると判定した場合にはフローを終了し、そうでない場合には、ステップS703へ遷移する。
【0159】
ステップS723では、センシング装置30は、フローを終了するか否かの判定を実施する。終了すると判定した場合にはフローを終了し、そうでない場合には、ステップS701へ遷移する。
【0160】
図8は、本発明のサブフローの一例を示した構成図である。
【0161】
なお、このフローの説明では説明を簡素にするためにヒト、ヒューマンエージェント、ノンヒューマンエージェントの「数」をトリガーに判断分岐を説明してるが、「密度」と読み換えてもよい。
【0162】
ステップS801では、情報処理装置20は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの「数」(イベントにおける参加者(イベントに参加するユーザに対応するヒューマンエージェントを含む)とノンヒューマンエージェントとの合計数に関する合計情報)に変更があったか否か(例えば、ステップS708のログイン要求受付、ステップS709の数や密度の取得、ステップS720のログアウト受付により、パラメータに変更が生じたか否か)を判定する。そして、変化があった判定した場合にはステップS802へ遷移し、そうでない場合には、ステップS809へ遷移する。
【0163】
ステップS802では、情報処理装置20は、ヒト(H)、ヒューマンエージェント(HA)、ノンヒューマンエージェント(NHA)の合算値(H+HA+NHA)が適正人数90(X)の範囲内であるか否かの判定を行う。そして、範囲内であると判定した場合にはステップS803へ遷移し、そうでない場合には、ステップS809へ遷移する。
【0164】
ステップS803では、情報処理装置20は、バーチャルチャルエージェントの切替あるいは入替えを実施するか否かの判定を行う。そして、実施すると判定した場合にはステップS804へ遷移し、そうでない場合には、ステップS805へ遷移する。
【0165】
なお、このステップの判定は、システムの構成で様々な判定方法が挙げられるが、一例として、後述する
図9のケースで説明する。このケースの場合、新たにログインするユーザのログイン形態が「フィジカルヒューマンエージェントを利用してログイン」なので、ステップS805に遷移することになる。
【0166】
なお、「フィジカルヒューマンエージェントを利用してログイン」であっても、対応可能なフィジカルエージェントがない場合、その旨をユーザの情報処理端末10に通知し、バーチャルエージェントでログインするか否かの受付を行う、あるいは後述の、参加形態選択ボタン904の選択で、「フィジカルヒューマンエージェントを利用してログイン」が選択できないよう表示制御するよう設けてもよい。
【0167】
ステップS804では、情報処理装置20は、バーチャルHAとバーチャルNHAとを切替える(または入替える)処理を実施する。
【0168】
図9を例にとると、「エージェントの入替/切替」が「同一のエージェントでヒューマンとノンヒューマンを切替える」となっているので、既に存在するアバタの姿かたちはそのままに、バーチャルNHA82をバーチャルHA81に切替える処理を実施させる。
図6を例にとると
図6(b)のアバタCが、
図6(a)のアバタCに遷移することになる。反対に、同じ条件でユーザがログアウトした場合には、
図6を例にとると
図6(a)のアバタCが、
図6(b)のアバタCに切替得る処理を実施させることになる。
【0169】
また、
図9で、「エージェントの入替/切替」が「異なるエージェントで、ヒューマンとノンヒューマンを入替える」となっている場合は、既に存在するアバタ(バーチャルNHA82)は異なる姿かたちのアバタ(バーチャルHA81)に「入替える」処理を実施させることになる。
図6を例にとると
図6(c)のアバタDが、から、
図6(a)のアバタCと「入替える」処理を実施させることになる。反対に、同じ条件でユーザがログアウトした場合には、
図6を例にとると、
図6(a)のアバタCが、
図6(c)のアバタDと「入替える」処理を実施させることになる。
【0170】
ステップS805では、情報処理装置20は、フィジカルエージェント40に、フィジカルHAとフィジカルNHAとを切替える(または入替える)指示を送信する。
【0171】
ステップS806では、フィジカルエージェント40は、ステップS805で情報処理装置20が送信したフィジカルHAとフィジカルNHAとを切替える(または入替える)指示を受付ける。
【0172】
ステップS807では、フィジカルエージェント40は、ステップS806で指示を受付けたか否かの判定を実施する。そして、受け付けたと判定した場合には、ステップS808へ遷移する。一方、受け付けたと判定しなかった場合には、ステップS813へ遷移する。
【0173】
ステップS808では、フィジカルエージェント40は、フィジカルHA41とバーチャルNHA42とを切替える(または入替える)処理を実施する。
【0174】
図9を例にとると、ステップS804の説明と同様、「切替」と「入替」どちらを実行するかは、「エージェントの入替/切替」が「同一のエージェントでヒューマンとノンヒューマンを切替える」「異なるエージェントで、ヒューマンとノンヒューマンを入替える」のどちらを選択しているかで決定される。
【0175】
図10を例にとると、新たなユーザが「同一のエージェントでヒューマンとノンヒューマンを切替える」でログインした場合、既に存在するアバタの筐体はそのままに、
図10(b)のエージェントC(フィジカルNHA42)が、
図10(a)のエージェントC(フィジカルHA41)に切替える処理を実施することになる。反対に、同じ条件でユーザがログアウトした場合には、
図10(a)と
図10(b)のように、
図10(a)のエージェントC(フィジカルHA41)が、
図10(b)のエージェントC(フィジカルNHA42)に切替得る処理を実施することになる。
【0176】
また、「異なるエージェントで、ヒューマンとノンヒューマンを入替える」となっている場合は、エージェントを物理的に「入替える」処理を実施することになる。したがって、
図10(b)のように、待機場所62(フィジカル空間60と別の場所のフィジカル空間)に控えているエージェントD(フィジカルNHA42)に、フィジカル空間60に会場入りしてフィジカルHA41に切り替わるよう制御指示を出す(フローは不図示)と共に、エージェントC(フィジカルNHA42)にフィジカル空間60から出て待機場所62に入るよう制御指示を出す処理を行う。つまり、
図10(b)が
図10(c)と遷移するように、エージェントDがエージェントCと「入替わる」形になる。
【0177】
反対に、同じ条件でユーザがログアウトした場合には、
図10(c)が
図10(b)となるように、
図10(c)のエージェントDが、フィジカルHA41からフィジカルNHA42に切り替わってフィジカル空間60から待機場所62へ移動するとともに、エージェントDが待機場所62からフィジカル空間60に入場することで、
図10(b)の状態へと遷移し、エージェントCとエージェントDが「入替わる」処理を実施させることになる。
【0178】
ステップS809では、情報処理装置20は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合算値(H+HA+NHA)が適正人数90(X)の範囲内よりも少ないか否か判定を行う。そして、少ないと判定した場合にはステップS810へ遷移し、そうでない場合には、ステップS816へ遷移する。
【0179】
ステップS810では、情報処理装置20は、バーチャルチャルエージェントの追加を実施するか否かの判定を行う。そして、追加すると判定した場合にはステップS811へ遷移し、そうでない場合には、ステップS812へ遷移する。
【0180】
なお、ステップS803と同様、
図9のケースの場合、新たにログインするユーザのログイン形態が「フィジカルヒューマンエージェントを利用してログイン」であればステップS812に遷移する。ただし、追加できるフィジカルエージェントがなければ、ステップS811に遷移する。また、「バーチャルエージェントを優先的に利用する」であればステップS811遷移する。
【0181】
また、「フィジカルヒューマンエージェントを利用してログイン」であっても、対応可能なフィジカルエージェントがない場合、その旨をユーザの情報処理端末10に通知し、バーチャルエージェントでログインするか否かの受付を行う、あるいは、参加形態選択ボタン904の選択で、「フィジカルヒューマンエージェントを利用してログイン」が選択できないよう表示制御するよう設けてもよい。
【0182】
ステップS811では、情報処理装置20は、バーチャルHA81またはバーチャルNHAを追加投入する処理を実施する。
【0183】
なお、より具体的には、ユーザが新たにログインした状態であればバーチャルHA81を、そうでなければバーチャルNHAを追加投入する処理を実施する。
図6を例にとると、
図6(d)のような適正人数に対し1体不足している状態で、新たにユーザがログインした場合に、エージェントC(バーチャルHA81)がバーチャル会場80に追加され、
図6(a)となるパターンや、新たにユーザがログインしたわけではない場合に、エージェントC(バーチャルNHA82)がバーチャル会場80に追加され、
図6(b)となるパターンである。
【0184】
ステップS812では、情報処理装置20は、フィジカルエージェント40に、フィジカルHA41を追加する指示を送信する。
【0185】
ステップS813では、フィジカルエージェント40は、ステップS812で情報処理装置20が送信したフィジカルHA41を追加する指示を受付ける。
【0186】
ステップS814では、フィジカルエージェント40は、ステップS813で指示を受付けたか否かの判定を実施する。そして、受け付けたと判定した場合には、ステップS815へ遷移する。一方、受け付けたと判定しなかった場合には、ステップS821へ遷移する。
【0187】
ステップS815では、フィジカルエージェント40は、フィジカルHA41またはフィジカルNHA42を追加投入する処理を実施する。
【0188】
図10を例にとると、
図10(d)のように適正人数に対し、1体不足している状態で新たにユーザがログインした場合に、待機場所62(フィジカル空間60と別の場所のフィジカル空間)に控えているエージェントD(フィジカルNHA42)が、フィジカル空間60に追加で会場入りし、フィジカルHA41に切り替わるようなパターンや、新たにユーザがログインしたわけではない場合に、不足している1体を補うため、待機場所62に控えているエージェントD(フィジカルNHA42)が、フィジカルNHA42のままフィジカル空間60に追加で会場入りするようなパターンである。(不図示)
ステップS816では、情報処理装置20は、ノンヒューマンエージェント(NHA)が0体か否か判定を行う。そして、0と判定した場合にはフローは終了となり、そうでない場合には、ステップS817へ遷移する。
【0189】
ステップS817では、情報処理装置20は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合算値(H+HA+NHA)が適正人数90(X)の範囲内よりも多いか否か判定を行う。そして、多いと判定した場合にはステップS818へ遷移し、そうでない場合には、フローは終了となる。
【0190】
ステップS818では、情報処理装置20は、バーチャルチャルエージェントの撤収(または削除)を実施するか否かの判定を行う。そして、撤収すると判定した場合にはステップS819へ遷移し、そうでない場合には、ステップS820へ遷移する。
【0191】
なお、ステップS803と同様、
図9のケースの場合、エージェントの優先順位が「フィジカルエージェントを優先的に利用する」であれば、バーチャルNHA82を優先的に削除することになるステップS819に優先的に遷移し、削除できるバーチャルNHA82がなければ、フィジカルNHA41を撤収させることになるのでステップS820に遷移することになる。
【0192】
反対に、「バーチャルエージェントを優先的に利用する」であれば、フィジカルNHA41を優先的に撤収させることになるので優先的にステップS820に遷移し、撤収させることのできるフィジカルNHA41がなければ、バーチャルNHA82を削除することになるステップS819に遷移することになる。
【0193】
ステップS819では、情報処理装置20は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合算値(H+HA+NHA)が適正人数90(X)の範囲内に近づけられるよう、バーチャルNHA82を削除する処理を実施する。
【0194】
図6を例にとると、
図6(e)のような適正人数に対し1体多い状態で、エージェントC(バーチャルNHA82がバーチャル会場80から削除されるパターンや、
図6(c)の状態となるパターンが考えられる。なお、削除処理については、バーチャルNHA82をすぐデリートしてもよいが、会場から出ていく(撤収する)ような動きを伴なうと、より動きが自然に見えて好適である。
【0195】
なお、適正人数90(X)の範囲内を超えて削除処理をする必要はなく、例えばX=4~5、NHA=3、H+HA+NHA=6だった場合、削除は1体でよい。
【0196】
ステップS820では、フィジカルエージェント40は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合算値(H+HA+NHA)が適正人数90(X)の範囲内に近づけられるよう、フィジカルエージェント40(フィジカルNHA42)に、撤収のための制御指示を送信する。
【0197】
ステップS821では、フィジカルエージェント40は、ステップS820で情報処理装置20が送信した撤収のための制御指示を受付ける。
【0198】
ステップS822では、フィジカルエージェント40は、ステップS821で指示を受付けたか否かの判定を実施する。そして、受付けたと判定した場合には、ステップS823へ遷移する。一方、受付けたと判定しなかった場合には、フローを終了する。
【0199】
ステップS823では、フィジカルエージェント40は、ヒト、ヒューマンエージェント、ノンヒューマンエージェントの合算値(H+HA+NHA)が適正人数90(X)の範囲内に近づけられるよう、撤収のための処理を実施する。
【0200】
図10を例にとると、
図10(a)で機場所62に控えているエージェントD(フィジカルNHA42)が、エージェントA、B、Cとともにフィジカル空間60にいる状態(不図示)、つまり、適正人数に対し、参加者が1体多い状態において、エージェントD(フィジカルNHA42)が待機場所62に撤収して
図10(a)のような、フィジカル空間60の参加者が適正人数になるよう調整されるようなパターンである。
【0201】
また、例えば、
図5のAR/MR映像を例にとると、
図5の状況γで、フィジカル空間(現実空間)から、フィジカルNHA42が撤収し、
図5の状況δとなるようなケースである。
【0202】
また、適正人数90(X)の範囲内を超えて撤収させる必要はない。したがって、例えばX=4~5、NHA=3、H+HA+NHA=6だった場合、撤収は1体でよい。
【0203】
以上
図7、
図8が、
図3乃至
図6及び、
図9、
図10の実施を想定したフローの一例である。
そして、このように参加者(例えば、ヒトやヒューマンエージェント)とノンヒューマンエージェントとの合計数に関する合計情報(例えば、ヒトやエージェントの合計や密度)に基づいて、合計数が適正人数という目標に近づけるよう、ノンヒューマンエージェントを追加・削除・撤収、(ヒューマンエージェントと) 切替・入替えるよう制御する(参加状態を変更する)ことで、イベントを好適な状態に近づけることができる。
【0204】
図9は、ユーザからログインやシステムの設定に関する入力を受付けるため表示画面の一例を示した構成図である。主に情報処理端末10や情報処理装置20の表示部210で表示するUI(User Interfae)を想定している。
【0205】
図9(a)は、ログイン画面の一例を示した構成図である。
【0206】
ユーザIDテキストエリア901は、ユーザからログインに必要なIDの入力を受付けるテキストエリアである。
【0207】
パスワードテキストエリア902は、ユーザからログインに必要なパスワードの入力を受付けるテキストエリアである。
【0208】
ログイン実行受付ボタン903は、ユーザからログインの実行を受付けるボタンである。
【0209】
参加形態選択ボタン904は、イベントに参加する形態をユーザから選択的に受け付けるためのためのオブジェクトである。ヒトとして(生身の肉体で)会場(フィジカル空間60)に参加を希望する場合には「ヒトとしてログイン(会場にいる方)」の選択を、フィジカルHA41を介してイベントに参加する場合は、「フィジカルヒューマンエージェントを利用してログイン」を、 バーチャルHA81を介してイベントに参加する場合は、「フィジカルヒューマンエージェントを利用してログイン」の選択を受付ける。
【0210】
なお、『(残り2)』は、フィジカルHA41として利用可能な、まだユーザが操作していなフィジカルエージェント残りの数を示している。したがって、例えばヒューマンエージェントとノンヒューマンエージェントとを切替えて利用可能なフィジカルエージェントが5体あり、うち3体を既にログインしたユーザがフィジカルHA41として利用していた場合、『(残り2)』と表示されることとなる。したがって、「残り0」の場合にはユーザが選択できないよう、よう表示制御(選択できない、選択肢の表示を消す等)する仕組みを設けてもよい。
【0211】
表示映像態選択ボタン905は、表示部210に表示する映像をユーザから選択的に受け付けるためのボタンである。ユーザが実写映像や実写映像に基づく自由視点映像にCGを重畳した映像を表示したい場合は「AR/MR映像」の選択を受付ける。また、ユーザがバーチャル空間にバーチャルエージェントを配置した映像を表示したい場合は「VR映像」の選択を受付けるためのオブジェクトである。なお、表示切替できる映像が存在しない実施例の場合は、なくともよい。
【0212】
優先エージェント選択ボタン906は、フィジカルエージェントとバーチャルエージェントのどちらを優先的に会場に投入するかの選択を、ユーザから受付けるためのオブジェクトである。
【0213】
エージェント入替切替設定ボタン907は、ユーザのログイン(イベントへの参加)、ログアウト(イベントからの退場)に伴ってヒューマンエージェントの数が増減に伴う、ノンヒューマンエージェントの数や密度の調整を、同じエージェントの切替で実施するか、異なるエージェントの入替えで実施するかの選択をユーザから受付けるためのオブジェクトである。
【0214】
適正人数受付エリア908は、適正人数90の範囲をユーザから受け付けるオブジェクトである。
【0215】
図10は、ヒトやエージェントの調整についての一例を示した構成図である。
【0216】
図10では、適正人数90(X=3)のフィジカル空間60における、エージェントの数や密度の調整の一例を示している。
【0217】
図10(a)は、適正人数90(X=3)のフィジカル空間60に、3体のフィジカルHA41(アバタA乃至C)が存在する様子を示している。
【0218】
ここで、
図9のエージェント入替切替設定ボタン907が、「同一のエージェントでヒューマンとノンヒューマンを切替える」が選択されているケースであって、フィジカルHA41のうち、「アバタC」を動かしているユーザがログアウトした場合、
図10(b)に示すように、アバタCはオブジェクトの見た目を変えることなくフィジカルHA41からフィジカルNHA42に切替える処理が実施される。
【0219】
反対に、
図10(b)の状態で、フィジカル空間60に参加したいユーザがログインすると、
図10(a)に示すように、アバタCはログインしたユーザに割り当てられ、オブジェクトの見た目を変えることなくフィジカルNHA41からフィジカルHA41に切替える処理が実施される。
【0220】
図6の(a)と
図6(b)と同様、
図10(a)と
図10(b)の例のように、見た目を変えないメリットは、他の参加者からは、適正人数90の変化がない上、オブジェクトの移動もなく、さらには見かけ上の変化もないため、参加者の入退室が分かりにくく、イベントの興趣を損なわずに済む。
【0221】
一方、
図9のエージェント入替切替設定ボタン907が、「異なるエージェントで、ヒューマンとノンヒューマンを入替える」が選択されているケースでは、
図10(b)でフィジカル空間60に参加したいユーザがログインすると、点線の矢印が示すように、待機場所62に控えているフィジカルNHA42(アバタD)がフィジカル空間60に、イベント会場入りし、フィジカルHA41に切替わる処理が実行される。そして、これと引換えにフィジカル空間60(イベント会場)にいるフィジカルNHA42(アバタC)は、イベント会場を退出し、待機場所62にて待機する処理が実行される。
【0222】
反対に、
図10(c)でアバタDのユーザがログアウトした場合、点線の矢印が示すように、待機場所62に控えているフィジカルNHA42(アバタC)がフィジカル空間60へイベント会場入りする処理が実行される。そして、これと引換えに、フィジカル空間60(イベント会場)にいるフィジカルHA41(アバタD)は、NHA42に入替わりイベント会場を退出し、待機場所62にて待機する処理が実行される。
図11は、本発明のデータテーブルの一例を示した構成図である。
【0223】
図11のデータテーブル(会場管理データテーブル1100及びユーザ管理データテーブル1200)は、一例として情報処理装置20にて管理する想定で記載しているが、その一部または全部を通信可能に接続される他のハードウエアで管理する等、実施形態に合わせて様々な形態をとることが可能である。
【0224】
会場管理データテーブル1100は、会場の管理に関する情報を管理するためのデータテーブルである。
【0225】
1101は、適正人数受付エリア908で受けつけた人数を管理している。
【0226】
1102は、フィジカル会場60のヒトの数を管理している。(S709で取得)
1103は、フィジカル会場60のフィジカルHA41の数を管理している。(S709で取得)
1104は、フィジカル会場60のバーチャルHA81の数を管理している。(S709で取得)
1105は、フィジカル会場60のフィジカルNHA42の数を管理している。
【0227】
1106は、待機場所62のフィジカルNHA42の数を管理している。
【0228】
1107は、フィジカル会場60のバーチャルNHA82の数を管理している。
【0229】
1108は、フィジカル会場60のノンヒューマンエージェントの合計数を管理している。
【0230】
1109は、会場の面積を管理している。
【0231】
1110は、フィジカル会場60のヒトとヒューマンエージェントの合計数を単位当たりの面積(この実施例では会場(つまり会場としている所定のエリア内)の面積100平方メートルとしている)で割った密度を管理している
1111は、適正人数受付エリア908で受けつけた所定の面積当たりの適正な密度を管理している。
【0232】
1112は、適正人数と、ヒト・ヒューマンエージェント・ノンヒューマンエージェントの合計数との差を管理している。
【0233】
1113は、適正な密度と現在の密度との差を管理している。
【0234】
1114は、優先エージェント選択ボタン906で受付けた、優先的に利用するエージェントについて管理している。
【0235】
1115は、エージェント入替切替設定ボタン907で受付けた、適正人数90に近づけるために、ヒューマンエージェントとノンヒューマンエージェントを切替(同一のエージェントでヒューマンとノンヒューマンを切替える)・入替(異なるエージェントで、ヒューマンとノンヒューマンを入替える)どちらを実施するかについて管理している。
【0236】
ユーザ管理データテーブル1200は、ユーザ管理に関する情報を管理するためのデータテーブルである。
【0237】
1201は、ユーザのログインIDを管理している。
【0238】
1202は、ユーザのログインパスワードを管理している。
【0239】
1203は、ユーザのイベントの参加形態を管理している(参加形態選択ボタン904で受付)。
【0240】
1204は、各ユーザの情報処理端末に表示する表示映像の種類を管理している(表示映像態選択ボタン905で受付)。
【0241】
1205は、各ユーザのフィジカル会場、バーチャル会場の位置座標を管理している。
1206は、各ユーザのフィジカル会場、バーチャル会場のユーザの向きを管理している。
また、ユーザ管理データテーブル1200と同様に、ノンヒューマンエージェント(NHA)についても、上記ユーザ管理データテーブル1200の1203~1206に対応する各パラメータを管理するデータテーブルがある。そして、NHAを管理するテーブルを用いて、イベントにおけるNHAの参加形態、表示映像、座標、向き等の管理を行っている。
【0242】
図12は、集客・交流イベントにおいて、参加者の多いケース、少ないケースの一例を合らした構成図である。
【0243】
図12(a)に示すように、イベントの参加人数が少なすぎれば、参加者は盛り上がっていないイベントに参加してしまったと疎外感じ、満足度は低下しやすい。一方、
図12(c)に示すように、イベントの参加人数が密になりすぎれば、パーソナルスペースに他の参加者が入ってくることになりやすく、圧迫感を感じやすくなる。
【0244】
一方、本発明は、上記のような状態を解消し、参加者にとって好適な人数(密度)をイベント内で実現することができる。つまり、本発明を用いれば、
図12(b)の例に示すように、ヒューマンエージェントとノンヒューマンエージェントとを状況に合わせて増減させてイベント会場における人やエージェントの数を一定の範囲内に収まるよう制御することによって、疎外感の感じにくい人数ほど少なくもなく、圧迫感を感じるほど多くもない、参加者にとって好適な人数(密度)をイベント内で実現することができる。
【0245】
また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0246】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0247】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD-ROM、磁気テープ、不揮発性のメモリカード、ROM、EPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【0248】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0249】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0250】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【0251】
10 情報処理端末
20 情報処理装置(PCやサーバなど)
30 センシング装置
40 フィジカルエージェント
41 フィジカルHA(HA:ヒューマンエージェント)
42 フィジカルNHA(NHA:ノンヒューマンエージェント)
50 通信ネットワーク(WAN(Wide Area Network)、LAN(Local Area Network)など)
60 フィジカル会場
61 ヒト
80 バーチャル会場
81 バーチャルHA
82 バーチャルNHA
90 適正人数