特許第6953221号(P6953221)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グリー株式会社の特許一覧
特許6953221画像表示システム、画像表示プログラム、画像表示方法及びサーバ
<>
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000002
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000003
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000004
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000005
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000006
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000007
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000008
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000009
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000010
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000011
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000012
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000013
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000014
  • 特許6953221-画像表示システム、画像表示プログラム、画像表示方法及びサーバ 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6953221
(24)【登録日】2021年10月1日
(45)【発行日】2021年10月27日
(54)【発明の名称】画像表示システム、画像表示プログラム、画像表示方法及びサーバ
(51)【国際特許分類】
   H04N 7/18 20060101AFI20211018BHJP
   H04N 7/15 20060101ALI20211018BHJP
   G06F 3/0481 20130101ALI20211018BHJP
   G03B 15/00 20210101ALI20211018BHJP
   G03B 37/00 20210101ALI20211018BHJP
   G03B 17/18 20210101ALI20211018BHJP
   G06F 3/0482 20130101ALI20211018BHJP
   H04N 5/232 20060101ALI20211018BHJP
【FI】
   H04N7/18 V
   H04N7/15
   G06F3/0481
   G03B15/00 W
   G03B15/00 H
   G03B37/00 A
   G03B17/18 Z
   G06F3/0482
   H04N7/18 U
   H04N5/232 060
   H04N5/232 380
【請求項の数】15
【全頁数】19
(21)【出願番号】特願2017-148685(P2017-148685)
(22)【出願日】2017年7月31日
(65)【公開番号】特開2019-29877(P2019-29877A)
(43)【公開日】2019年2月21日
【審査請求日】2020年7月30日
(73)【特許権者】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】野長 兄一
(72)【発明者】
【氏名】松村 真弓
【審査官】 長谷川 素直
(56)【参考文献】
【文献】 特開平10−243273(JP,A)
【文献】 国際公開第2017/022641(WO,A1)
【文献】 特開2000−059682(JP,A)
【文献】 特開2009−187306(JP,A)
【文献】 特開2017−228853(JP,A)
【文献】 特許第6091690(JP,B1)
【文献】 特開2011−118531(JP,A)
【文献】 特開2002−197251(JP,A)
【文献】 特開2007−215057(JP,A)
【文献】 特開2005−051710(JP,A)
【文献】 特開2011−205573(JP,A)
【文献】 特開2005−101980(JP,A)
【文献】 特開2005−295016(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 7/14−7/15
G06F 3/0481−3/0482
G03B 15/00
G03B 37/00
G03B 17/18
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
記憶部、入力部及び出力部に接続された制御部を備えた画像表示システムであって、
前記記憶部は、複数のカメそれぞれによって撮影され天球画像を記憶し、
前記制御部が、
議事進行に応じて、前記カメラによって撮影された天球画像を選択するためのインターフェースを前記出力部に表示させ
前記入力部において、ユーザの操作により選択された天球画像を前記出力部表示することを特徴とする画像表示システム。
【請求項2】
選択可能なカメの配置を示したマップを前記出力部に表示し、
前記マップにおいて前記ユーザの操作の操作により選択されたカメラで天球画像を出力部に表示することを特徴とする請求項1に記載の画像表示システム。
【請求項3】
前記制御部が、
前記出力部に、議事進行における議題を選択可能な議題一覧を前記出力部に表示し、
前記議題一覧において選択された議題を特定することを特徴とする請求項1又は2に記載の画像表示システム。
【請求項4】
前記制御部が、前記天球画像において、人物画像を特定し、
参加者判定条件に基づいて、前記人物画像が参加者画像と判定した場合、前記参加者画像に対して画像加工処理を行なうことを特徴とする請求項1〜3の何れか一項に記載の画像表示システム。
【請求項5】
前記記憶部は天球画像に含まれるオブジェクトの説明情報を記憶し、
前記制御部が、
前記天球画像の所定位置に、当該天球画像に含まれるオブジェクトについての説明情報を表示させる表示指示アイコンを表示し、
ユーザによる前記表示指示アイコンの指定に応じて、前記説明情報を出力し、
前記議事進行に応じて、前記表示指示アイコン又は前記説明情報を消去することを特徴とする請求項1〜4の何れか一項に記載の画像表示システム。
【請求項6】
前記天球画像は、前記ユーザにより表示領域を操作可能であり、
前記制御部が、前記表示領域から前記オブジェクトの位置が基準値以上のずれを判定した場合、前記表示指示アイコン又は前記説明情報の表示を停止することを特徴とする請求項5に記載の画像表示システム。
【請求項7】
前記表示指示アイコン又は前記説明情報は、前記天球画像に貼り付けられていることを特徴とする請求項5又は6に記載の画像表示システム。
【請求項8】
前記表示指示アイコン又は前記説明情報は、前記天球画像に連動する重畳レイヤに貼り付けられていることを特徴とする請求項5〜7の何れか一項に記載の画像表示システム。
【請求項9】
前記制御部は、前記ユーザの操作により選択された前記カメラで撮影された天球画像を議事進行に応じて前記出力部に表示することを特徴とする請求項1〜8の何れか一項に記載の画像表示システム。
【請求項10】
前記制御部は、議事進行における特定の議題においては、前記インターフェースを前記出力部に表示させないことを特徴とする請求項1〜9のいずれか一項に記載の画像表示システム。
【請求項11】
前記天球画像は、議事が進行される本会場を撮影した第1天球画像と、ホワイエを撮影した第2天球画像と、を含み、
前記制御部は、議事進行における特定の議題になると、前記出力部が前記第2天球画像を表示している場合であっても、前記第1天球画像の表示に切り替えることを特徴とする請求項1〜10の何れか一項に記載の画像表示システム。
【請求項12】
議事進行における複数の議題のそれぞれに表示条件が設定されており、
前記制御部は、前記表示条件に基づいて議事進行に応じた処理を行うことを特徴とする請求項1〜11の何れか一項に記載の画像表示システム。
【請求項13】
記憶部、入力部及び出力部に接続された制御部を備えた画像表示システムを制御するプログラムであって、
前記記憶部は、複数のカメラのそれぞれによって撮影され天球画像を記憶し、
前記制御部を、
議事進行に応じて、前記カメラによって撮影された天球画像を選択するためのインターフェースを前記出力部に表示させ
前記入力部において、ユーザの操作により選択された天球画像を前記出力部表示する手段として機能させることを特徴とする画像表示プログラム。
【請求項14】
記憶部、入力部及び出力部に接続された制御部を備えた画像表示システムを制御する方法であって、
前記記憶部は、複数のカメラのそれぞれによって撮影され天球画像を記憶し、
前記制御部が、
議事進行に応じて、前記カメラによって撮影された天球画像を選択するためのインターフェースを前記出力部に表示させ
前記入力部において、ユーザの操作により選択された天球画像を前記出力部表示することを特徴とする画像表示方法。
【請求項15】
記憶部及び制御部を備えたサーバであって、
前記記憶部は、複数のカメラのそれぞれによって撮影された撮影された天球画像を記憶
し、
前記制御部が、
議事進行に応じて、前記カメラによって撮影された天球画像を選択するためのインターフェースをユーザ端末の出力部に表示させ
前記ユーザ端末の入力部において、ユーザの操作により選択された天球画像を前記出力部に表示させることを特徴とするサーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システム、画像表示プログラム画像表示方法及びサーバに関する。
【背景技術】
【0002】
企業の意思決定のために株主総会が行われている。株主総会においては、会社の組織・業態に関する事項や、構成員の選任・解任に関する事項や、株主の利益に関する事項等について決議する。この場合、株主からの質疑応答の時間が設けられている。そして、上場企業及び株主において、双方向に情報の発信及び収集のための技術も検討されている(例えば、特許文献1)。この文献に記載された技術では、各上場企業が株主に対して提供するドキュメントを保管する。そして、株主側端末からの要求に応じて、株主が保持する株に関するドキュメントと、電子議決権行使機能へのリンク情報とを含むWebページを株主側端末に提供する。この場合、更に株主総会の動画情報を配信する。
【0003】
また、画像生成においては、上下左右の各方位で広範囲の画像によりパノラマ写真(天球画像)を生成する技術を用いる場合もある(例えば、特許文献2)。この文献に記載された技術では、撮像装置は、複数の撮像光学系から取得した画像を合成し、複数の画像のつなぎ位置を検出し、つなぎ位置で複数の画像を合成し、平面に展開された全天球画像を生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−97139号公報
【特許文献2】特開2016−27744号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したように、総会会場を撮影した画像をユーザ端末に提供する場合、十分な情報量を提供できないことがある。天球画像をユーザに対して提供する場合にも、説明会場の訪問者とは異なり、ユーザ端末の利用者は、会場の多様な位置から総会の状況を見ることができない。また、撮影画像だけでは、情報が不足する場合もある。従って、的確な情報を入手することができなかった。
【課題を解決するための手段】
【0006】
・上記課題を解決する画像表示システムは、記憶部、入力部及び出力部に接続された制御部を備える。前記記憶部は、カメラ毎に撮影され、ユーザの操作により表示領域を操作可能な天球画像を記憶する。そして、前記制御部が、議事進行に応じて、選択可能なカメラ候補を特定し、前記入力部において、ユーザの操作により、前記カメラ候補の中で指定されたカメラで撮影された天球画像を前記出力部に、議事進行に応じて表示する。
【発明の効果】
【0007】
本発明によれば、天球画像を用いて、ユーザに対して、的確な情報提供を行なうことができる。
【図面の簡単な説明】
【0008】
図1】本実施形態の画像表示システムの機能ブロックの説明図。
図2】本実施形態のハードウェア構成例の説明図。
図3】本実施形態の記憶部の説明図であって、(a)は議題情報記憶部、(b)は説明者情報記憶部、(c)はスライド情報記憶部、(d)は天球画像記憶部、(e)は補足情報記憶部の説明図。
図4】本実施形態における表示画面展開の説明図。
図5】本実施形態における表示画面の説明図であって、(a)はトップ画面、(b)は本会場を表示した表示画面。
図6】本実施形態における表示画面の説明図であって、(a)は本会場での説明者による説明の表示画面、(b)は天球画像を拡大した場合の表示画面、(c)はスライドを拡大表示した表示画面。
図7】本実施形態における処理手順の説明図。
図8】本実施形態における処理手順の説明図。
図9】本実施形態における表示画面の説明図であって、(a)は天球画像と重畳レイヤ、(b)はアイコンを表示した表示画面、(c)は補足説明を表示した表示画面の説明図。
図10】本実施形態における補足説明の表示の説明図であって、(a)は正面にある場合、(b)は少し右側に移動させた場合、(c)は少し左側に移動させた場合、(d)は大きく右側に移動させた場合、(e)は大きく左側に移動させた場合の説明図。
図11】本実施形態における処理手順の説明図。
図12】本実施形態における天球画像の説明図であって、(a)は人が存在しない場合、(b)は一般参加者が含まれる場合、(c)は人物画像を加工した場合の説明図。
図13】他の実施形態における処理手順の説明図。
図14】他の実施形態における表示画面の説明図。
【発明を実施するための形態】
【0009】
以下、図1図12に従って、画像表示システム、画像表示プログラム及び画像表示方法を具体化した実施形態を説明する。
本実施形態では、図1に示すように、インターネット等のネットワークを介して接続されたユーザ端末10に対して、管理サーバ20が、株主総会に関する情報を提供する場合を説明する。
【0010】
(ハードウェア構成例)
図2は、ユーザ端末10や管理サーバ20等の情報処理装置H10のハードウェア構成例である。
情報処理装置H10は、通信インターフェースH11、入力装置H12、表示装置H13、記憶部H14、プロセッサH15を有する。なお、このハードウェア構成は一例であり、他のハードウェアを用いてもよい。
【0011】
通信インターフェースH11は、他の装置との間で通信経路を確立して、データの送受信を実行するインターフェースである。例えばネットワークインターフェースカードや無線インターフェース等である。
【0012】
入力装置H12は、ユーザ等からの入力を受け付ける装置であり、例えば入力部14を実現する。表示装置H13は、各種情報を表示するディスプレイや、音声を再生するスピーカ等であり、例えば出力部15を実現する。入力装置H12、表示装置H13として、タッチパネルディスプレイを用いることも可能である。
【0013】
記憶部H14は、ユーザ端末10や管理サーバ20の各種機能を実行するためのデータや各種プログラムを格納する記憶装置であり、メモリ12、議題情報記憶部22〜補足情報記憶部26を実現する。記憶部H14の一例としては、ROM、RAM、ハードディスク等がある。
【0014】
プロセッサH15は、記憶部H14に記憶されるプログラムやデータを用いて、ユーザ端末10や管理サーバ20における各処理を制御する制御部11,21を実現する。プロセッサH15の一例としては、例えばCPUやMPU等がある。このプロセッサH15は、ROM等に記憶されるプログラムをRAMに展開して、各種処理に対応する各種プロセスを実行する。
【0015】
(各部の機能説明)
図1に示すユーザ端末10は、株主総会に関する情報を取得するユーザが用いるコンピュータ端末であって、各種アプリケーションを実行させることにより、情報の出力や入力に用いられる。
【0016】
このユーザ端末10は、制御部11、メモリ12、通信部13、入力部14、出力部15を備える。
制御部11は、メモリ12に記録された各種アプリケーションを実行することにより、通信部13〜出力部15を制御する。本実施形態では、制御部11は、通信部13を介して、管理サーバ20から表示画面を取得する。更に、制御部11は、入力部14において入力された指示に基づいて、出力部15に表示された画面を制御する。
【0017】
管理サーバ20は、ユーザ端末10に出力する各種データを管理するコンピュータシステムである。この管理サーバ20は、制御部21、議題情報記憶部22、説明者情報記憶部23、スライド情報記憶部24、天球画像記憶部25、補足情報記憶部26を備える。
【0018】
制御部21は、CPU、RAM、ROM等から構成された制御手段として機能し、後述する処理(カメラ選択段階、進行管理段階、天球表示段階、表示制御段階、画像加工段階等を含む処理)を行なう。このための画像表示処理プログラムを実行することにより、制御部21は、カメラ選択部210、進行管理部211、天球表示部212、表示制御部213、画像加工部214等として機能する。
【0019】
カメラ選択部210は、ユーザ端末10において選択されたカメラを特定する。
進行管理部211は、総会の議事進行を管理する処理を実行する。
天球表示部212は、ユーザ端末10に対して、カメラ選択部210が特定したカメラで撮影された天球画像(動画)を配信する処理を実行する。
【0020】
表示制御部213は、天球画像において、説明情報を出力する処理を実行する。
画像加工部214は、総会への一般参加者(株主)の画像の肖像権を保護するために人物画像を加工する処理(ぼかし)を実行する。
【0021】
図3(a)に示すように、議題情報記憶部22には、議事進行を管理するための議題管理レコード220が記録される。この議題管理レコード220は、総会の議事進行の議題が登録された場合に記録される。議題管理レコード220には、順番、議題IDに関するデータが記録される。
【0022】
順番データ領域には、総会の議事進行における議題の順番に関するデータが記録される。
議題IDデータ領域には、総会における議題(テーマ)を特定するための識別子に関するデータが記録される。議題としては、「オープニング」、「出席状況の報告」、「監査報告」、「事業報告」、「事業の経過と成果」、「資金調達の状況」、「連結計算書類」、「対処すべき課題」、「今後の事業方針」、「議案」、「質疑応答」、「採決」、「クロージング」等がある。
【0023】
図3(b)に示すように、説明者情報記憶部23には、総会における説明者に関する説明者管理レコード230が記録される。この説明者管理レコード230は、総会における説明者が登録された場合に記録される。説明者管理レコード230には、説明者ID、氏名、役職、略歴に関するデータが記録される。
【0024】
説明者IDデータ領域には、各説明者を特定するための識別子に関するデータが記録される。
氏名、役職、略歴の各データ領域には、この説明者の氏名、役職、略歴に関するデータが記録される。
【0025】
図3(c)に示すように、スライド情報記憶部24には、総会の会場に投影されるスライドについてのスライド管理データ240が記録される。このスライド管理データ240は、投影スライドが登録された場合に記録される。スライド管理データ240には、議題ID、投影時刻、投影スライド、ナレーションに関するデータが記録される。
【0026】
議題IDデータ領域には、議題を特定するための識別子に関するデータが記録される。
投影時刻データ領域には、この議題において用いるスライドを投影している時刻に関するデータが記録される。
【0027】
投影スライドデータ領域には、ユーザ端末10の出力部15に表示するスライドデータが記録される。
ナレーションデータ領域には、このスライド投影に伴い出力される音声データが記録される。
【0028】
図3(d)に示すように、天球画像記憶部25には、ユーザ端末10の出力部に表示する天球画像データ250が記録される。この天球画像データ250は、総会会場に設置されたカメラを用いて撮影され、管理サーバ20にアップロードされた場合に記録される。天球画像データ250には、議題ID、カメラID、天球画像、アイコン情報が記録される。
【0029】
議題IDデータ領域には、天球画像を撮影した時の議題を特定するための識別子に関するデータが記録される。
カメラIDデータ領域には、総会において天球画像の撮影に用いたカメラを特定するための識別子に関するデータが記録される。本実施形態では、株主総会の本会場、ホワイエ(展示ホール)に設置された複数のカメラを用いる。
天球画像データ領域には、撮影された天球画像に関するデータが記録される。本実施形態では、複数の画像を連続的に再生する動画が記録される。
【0030】
アイコン情報は、マーカ座標、補足IDに関するデータを含む。このアイコン情報は、動画を構成する天球画像の中で、補足説明を出力するタイミング(期間)の天球画像のみに設定されている。
マーカ座標データ領域には、天球画像において、補足説明を表示するオブジェクトの座標に関するデータが記録される。本実施形態では、この座標には、補足説明の表示指示に用いるマーカ(表示指示アイコン)を表示する。補足説明としては、説明者に関する情報や、投影スライドに関する情報等、天球画像に含まれる各種オブジェクトに対してアイコンを付与することができる。
【0031】
補足IDデータ領域には、マーカ(表示指示アイコン)の選択に基づいて出力する補足説明を特定するための識別子に関するデータが記録される。なお、補足説明として、説明者情報を出力する場合には、このデータ領域に説明者IDを記録しておく。
【0032】
図3(e)に示すように、補足情報記憶部26には、天球画像に関連して出力する補足説明に関する補足管理レコード260が記録される。この補足管理レコード260は、補足説明が登録された場合に記録される。補足管理レコード260には、補足ID、補足説明に関するデータが記録される。
補足IDデータ領域には、各補足説明を特定するための識別子に関するデータが記録される。
補足説明データ領域には、補足説明として出力する内容に関するデータが記録される。
【0033】
(表示画面の展開)
次に、図4図6を用いて、表示画面の展開を説明する。
図4に示すように、ユーザ端末10から管理サーバ20にアクセスした場合、管理サーバ20の制御部21は、出力部15にトップ画面300を表示する。このトップ画面300においては、天球画像を撮影するカメラを選択することができる。本実施形態では、株主総会の「本会場」、「ホワイエ」に設置された複数のカメラを選択することができる。このため、トップ画面300においては、カメラ選択部210が、カメラ選択メニュー310を出力する。カメラ選択メニュー310には、本会場選択アイコン311、ホワイエ選択アイコン312〜314が表示されている。
ここで、カメラ選択メニュー310において、本会場選択アイコン311を選択した場合、各議題に応じた表示画面320を閲覧することができる。
各議題に応じた表示画面320には、本会場の天球画像331が、例えば背景として出力される。更に、各表示画面320には、議題に応じて、議題一覧メニュー332、議題表示333、カメラ切替マップ334、スライド拡大表示335、トップ画面表示ボタン336が出力される。
天球画像331は、天球表示部212によって表示制御され、本会場を閲覧するための画像である。なお、天球画像において、予め定められた視野範囲(例えば株主席側)では、画像加工部214によって、人物を判別できないように画像加工処理(例えば、ぼかし、モザイク等)が行なわれる。ここでは、ユーザ端末10の入力部14による操作によって、天球画像の表示範囲が、特定角度を超えた場合に画像加工処理を実行する。例えば、表示範囲が、正面の状態から90度以上、左右に移動して、株主席が映る込む角度になった場合に、ぼかした天球画像に変更される。
議題一覧メニュー332は、進行管理部211によって制御され、議題情報記憶部22に記録された議題管理レコード220の順番で議題アイコンを並べて表示する。各議題アイコンには、議題IDが記録されている。ユーザは、入力部14を用いて、議題一覧メニュー332において所望の議題アイコンを選択する。この場合、進行管理部211は、ユーザ端末10において指定された議題IDを取得する。
議題表示333は、進行管理部211によって制御され、議事進行に応じて、ユーザ端末10に表示している議題スライドを表示する。
カメラ切替マップ334は、カメラ選択部210によって制御され、天球画像を閲覧するためのカメラを切り替えるためのマップを表示する。このマップには、株主総会の会場において、カメラが設置された位置を示す目印アイコンが表示される。各目印アイコンには、カメラIDが設定されている。そして、目印アイコンが選択された場合、天球画像記憶部25に記録されたカメラIDの天球画像を出力する。
スライド拡大表示335は、進行管理部211によって制御され、議事進行に応じて、ユーザ端末10の出力部15に出力された表示画面において、投影スライドを大きく拡大して表示する。
トップ画面表示ボタン336は、トップ画面に戻るためのボタンである。
なお、議題一覧メニュー332〜スライド拡大表示335は、議題の議事進行に応じて、予め表示条件が設定されている。例えば、所定の場面(例えば、議題「連結決算書類」)では、スライド拡大表示335を出力する表示条件により、出力を制御する。また、所定の場面(例えば、議題「出席状況の報告」)では、カメラ切替マップ334を無効にして、カメラ切替を制限する表示条件により、出力を制御する。また、表示条件として、天球画像331の操作可否を設定してもよい。この場合、ユーザ端末10の出力部15には、天球画像331において、所定の視野範囲のみが表示される。
また、議題一覧メニュー332〜トップ画面表示ボタン336は、天球画像331とは異なる前面の表示レイヤに出力される。従って、天球画像331の表示領域とは連動しない。例えば、ユーザが、ユーザ端末10の入力部14を用いて、天球画像331の表示領域を変更する指示を行ない、正面画像から天井画像を表示させた場合を想定する。この場合、表示画面の背景は天井画像に変更されるが、議題一覧メニュー332〜トップ画面表示ボタン336は、表示画面の同じ位置に維持される。
【0034】
図5(a)は、トップ画面300を示している。このトップ画面300には、本会場選択アイコン311、ホワイエ選択アイコン312〜314を含むカメラ選択メニュー310が表示されている。更に、このトップ画面300には、本会場の天球画像331、カメラ切替マップ334が含まれる。
図5(b)は、トップ画面300において本会場選択アイコン311を選択した場合に出力される表示画面350を示している。この表示画面350には、天球画像331、議題一覧メニュー332、カメラ切替マップ334、トップ画面表示ボタン336が出力されている。なお、この表示画面においては、議事進行前のため、議題表示は出力されていない。
図6(a)は、議題一覧メニュー332において所望の議題アイコン(ここでは、議題「出席状況の報告」)を選択した場合に出力される表示画面360を示している。この表示画面360には、天球画像331、議題一覧メニュー332、議題表示333、トップ画面表示ボタン336が出力されている。なお、この場面では、表示条件に基づいて、カメラの切り替えが許容されていないため、カメラ切替マップ334は出力されていない。例えば、説明者が登場して話をするといった重要議題である場合等、ユーザにその内容を閲覧させたい場合には、カメラ切替を制限することを目的としている。また、議題進行に応じて表示条件が変更になった場合にも、表示条件に応じた表示画像に切り替えるようにしてもよい。例えば、ユーザ端末10の出力部15にホワイエの天球画像が表示されている場合にも、議題進行に応じてカメラの切り替えが許容されていない議題になった場合には、管理サーバ20の制御部21は、表示条件に応じて、強制的に表示画面を本会場に切り替えるようにしてもよい。
図6(b)に示すように、天球画像331を拡大した場合にも、議題一覧メニュー332、議題表示333、トップ画面表示ボタン336は、天球画像331とは連動せず、同じ位置で表示される。
図6(c)は、議題一覧メニュー332において別の議題アイコン(ここでは、議題「連結決算書類」)を選択した場合に出力される表示画面370を示している。この表示画面370には、議題一覧メニュー332、議題表示333、カメラ切替マップ334、スライド拡大表示335が出力されている。なお、この画面では、表示条件に基づいて、天球画像331の操作が許容されていない。この画面では、説明者が登場して話をする場面ではなく、スライドの表示や動画生成などの議題であることを想定し、カメラ切替ができるようになっている。
また、ホワイエを表示している際に、本会場の様子がわかるように、本会場の画像を画面の一部(例えば、左上等)に表示してもよい。ここで、管理サーバ20の制御部21は、議事進行に応じて、所定時間後に議題の切替を検知した場合、ユーザ端末10に対して、切替前であることを示す通知を行ない、本会場へのカメラ切替を促すようにしてもよい。これにより、ユーザが本会場における重要議題画面(動画)を見逃しを抑制することができる。
【0035】
(動作)
次に、図7図12を用いて、この管理サーバ20における動作(進行管理処理、天球表示処理、画像加工処理)を説明する。総会の配信情報を閲覧する場合には、ユーザ端末10を用いて、管理サーバ20にアクセスする。
【0036】
(進行管理処理)
まず、図7を用いて、進行管理処理を説明する。
ここでは、管理サーバ20の制御部21は、議題の特定処理を実行する(ステップS1−1)。具体的には、制御部21の進行管理部211は、議題一覧メニュー332をユーザ端末10の出力部15に出力する。そして、進行管理部211は、議題一覧メニュー332において指定された議題IDを取得する。
【0037】
次に、管理サーバ20の制御部21は、スライド表示処理を実行する(ステップS1−2)。具体的には、制御部21の進行管理部211は、指定された議題IDの投影スライド、ナレーションをスライド情報記憶部24から取得し、ユーザ端末10に配信する。ユーザ端末10の制御部11は、出力部15において、投影スライド、ナレーションを再生する。
【0038】
次に、管理サーバ20の制御部21は、天球画像があるかどうかについての判定処理を実行する(ステップS1−3)。具体的には、制御部21の進行管理部211は、天球画像記憶部25を用いて、ユーザ端末10に配信したスライドの議題IDに関連付けられた天球画像データ250を天球画像記憶部25において検索する。議題IDに関連付けられた天球画像データ250が記録されている場合には、進行管理部211は、天球画像があると判定する。
【0039】
天球画像があると判定した場合(ステップS1−3において「YES」の場合)、管理サーバ20の制御部21は、天球表示処理を実行する(ステップS1−4)。この処理の詳細については、図7を用いて後述する。
【0040】
一方、天球画像がないと判定した場合(ステップS1−3において「NO」の場合)、管理サーバ20の制御部21は、天球表示処理(ステップS1−4)をスキップする。この場合には、スライド情報記憶部24に記録された投影スライド、ナレーションをユーザ端末10において再生する。
【0041】
そして、管理サーバ20の制御部21は、再生終了かどうかについての判定処理を実行する(ステップS1−5)。具体的には、制御部21の進行管理部211は、天空画像やナレーションの再生を終了した場合には、再生終了と判定する。なお、天空画像やナレーションの再生中に、ユーザ端末10に出力された議題一覧メニューにおいて他の議題が選択された場合にも、再生終了と判定する。
【0042】
再生終了でないと判定した場合(ステップS1−5において「NO」の場合)、管理サーバ20の制御部21は、スライド表示処理(ステップS1−2)を継続する。
一方、再生終了と判定した場合(ステップS1−5において「YES」の場合)、管理サーバ20の制御部21は、議題変更かどうかについての判定処理を実行する(ステップS1−6)。具体的には、制御部21の進行管理部211は、次の議題を特定した場合や、他の議題が選択された場合は、議題変更と判定する。
【0043】
議題変更と判定した場合(ステップS1−6において「YES」の場合)、管理サーバ20の制御部21は、議題の特定処理(ステップS1−1)を継続する。
一方、議題変更でないと判定した場合(ステップS1−6において「NO」の場合)、管理サーバ20の制御部21は、進行管理処理を終了する。
【0044】
(天球表示処理)
次に、図8を用いて、天球表示処理を説明する。
まず、管理サーバ20の制御部21は、天球画像の表示処理を実行する(ステップS2−1)。具体的には、制御部21の天球表示部212は、ユーザ端末10の出力部15に、表示画面を表示する。そして、天球表示部212は、表示画面において、天球画像(動画)を再生する。
【0045】
この場合、図9(a)に示すように、天球表示部212は、天球画像500の表示操作に連動し、天球画像500を透過可能な重畳レイヤ510を、天球画像500に重畳させて配置する。この重畳レイヤ510には、アイコン511が貼り付けられる。この場合、天球画像500上にアイコン511が重畳して見える。そして、ユーザ端末10において、拡大・縮小操作、視線方向の表示操作に基づいて、表示領域を指定する。
【0046】
この場合、図9(b)に示すように、天球表示部212は、指定された表示領域に応じて、天球画像を切り出した表示画面520を生成する。更に、天球表示部212は、表示画面520の所定位置に、議題表示領域521を設ける。ここでは、右下の脇に設けているが、設置位置はこれに限定されるものではなく、図6に示すように、左肩に設けてもよい。この議題表示領域521には、縮小化した投影スライドを出力する。そして、表示制御部213は、生成した表示画面520を、ユーザ端末10の出力部15において再生する。
【0047】
次に、管理サーバ20の制御部21は、アイコンは表示可能かどうかについての判定処理を実行する(ステップS2−2)。具体的には、制御部21の表示制御部213は、ユーザ端末10の出力部15において再生された天球画像の表示画面(表示領域)において、マーカ座標が含まれるかどうかを判定する。そして、表示画面の表示領域(基準値)内にマーカ座標が含まれる場合には、アイコンは表示可能と判定する。なお、マーカ座標が表示画面の端部に近い場合には、アイコンは表示不可と判定するようにしてもよい。この場合には、表示画面の内縁部にマージン領域を設け、マーカ座標がこのマージン領域に含まれる場合には、アイコンは表示不可(ステップS2−2において「NO」)と判定する。
【0048】
アイコンは表示可能と判定した場合(ステップS2−2において「YES」の場合)、管理サーバ20の制御部21は、アイコン表示処理を実行する(ステップS2−3)。具体的には、制御部21の表示制御部213は、天球画像に連動する重畳レイヤ内のマーカ座標にアイコンを出力する。この場合、天球画像及び重畳レイヤを切り出した表示画面に、アイコンが出力される。
【0049】
次に、管理サーバ20の制御部21は、アイコンが選択されたかどうかについての判定処理を実行する(ステップS2−4)。具体的には、制御部21の表示制御部213は、ユーザ端末10の入力部14の操作に基づいて、表示画面内に含まれるアイコンの指定を検知した場合には、アイコンの選択と判定する。
【0050】
アイコンが選択されていないと判定した場合(ステップS2−4において「NO」の場合)、天球画像の表示処理(ステップS2−1)以降を繰り返す。
アイコンが選択されたと判定した場合(ステップS2−4において「YES」の場合)、管理サーバ20の制御部21は、説明画面の補足説明表示処理を実行する(ステップS2−5)。具体的には、制御部21の表示制御部213は、補足情報記憶部26から、マーカ座標の補足IDが記録された補足管理レコード260を抽出する。次に、表示制御部213は、重畳レイヤのマーカ座標の位置に、補足管理レコード260の補足説明を貼り付ける。また、補足IDとして説明者IDが設定されている場合には、説明者情報記憶部23から、説明者IDの説明者管理レコード230を取得し、補足説明として、氏名、役職、略歴等を出力する。
【0051】
図9(c)に示すように、表示制御部213は、生成した表示画面520を、ユーザ端末10の出力部15において再生する。この場合、表示制御部213は、天球画像及び重畳レイヤを切り出した表示画面520に、補足説明画面530が出力される。
【0052】
次に、管理サーバ20の制御部21は、補足説明の表示歪が大きいかどうかについての判定処理を実行する(ステップS2−6)。具体的には、制御部21の表示制御部213は、ユーザ端末10の出力部15に表示された表示画面において、補足説明が表示されている位置(オブジェクトの位置)を特定する。
【0053】
図10(a)に示すように、表示画面620の中心近傍(正面)に補足説明画面530が配置される場合には、表示歪は小さい。
図10(b)、図10(c)に示すように、表示画面621,622の左右に、視線を移動させた場合、補足説明画面530の表示歪が生じる。ただし、移動量が少ない場合には、表示歪は小さい。
【0054】
図10(d),図10(e)に示すように、表示画面623,624の左右に、大きく視線を移動させて、補足説明画面530が表示画面623,624の端部近傍に移動させた場合、補足説明画面530の表示歪が大きくなる。表示画面623,624から補足説明画面530までの方位角が基準値以上よりも大きくなった場合には、補足説明の表示歪が大きいと判定する。
【0055】
方位角が基準値未満で、補足説明の表示歪が小さいと判定した場合(ステップS2−6において「NO」の場合)、管理サーバ20の制御部21は、図10(a)、図10(b)、図10(c)に示すように、説明画面の補足説明表示処理(ステップS2−5)を継続する。そして、この補足説明表示処理(ステップS2−5)は、マーカ座標が関連付けられた天球画像の再生が終了するまで継続される。
【0056】
一方、補足説明の表示歪が大きいと判定した場合(ステップS2−6において「YES」の場合)、管理サーバ20の制御部21は、補足説明表示の消去処理を実行する(ステップS2−7)。具体的には、制御部21の表示制御部213は、重畳レイヤから補足説明画面530を消去する。この場合、ユーザ端末10の出力部15においては、図10(d)、図10(e)に示すように、補足説明画面530がない天球画像から切り出した表示画面623,624が再生される。
【0057】
(画像加工処理)
次に、天球画像における画像加工処理について説明する。天球画像においては、視線方向によって、説明者画像だけではなく、総会への一般参加者(株主)の画像も含まれる。この参加者についての個人情報を保護するために画像加工処理を行なう。この画像加工処理は、天球画像記憶部25に天球画像データ250を登録する前に実行される。
【0058】
図11を用いて、この画像加工処理を説明する。
まず、管理サーバ20の制御部21は、無人画像の取得処理を実行する(ステップS3−1)。具体的には、制御部21の画像加工部214は、一般参加者が往来又は着席する立ち入り領域(参加者領域)を、参加者判定条件として特定し、人が存在しないときの無人の会場の風景画像(第1の天球画像)を予め取得する。
ここでは、図12(a)に示すように、人がいない会場を撮影した天球画像701を取得する。
【0059】
次に、管理サーバ20の制御部21は、総会開催時の天球画像の取得処理を実行する(ステップS3−2)。具体的には、制御部21の画像加工部214は、会場に設置されたカメラで撮影された総会開催時の天球画像(第2の天球画像)を取得する。
【0060】
次に、管理サーバ20の制御部21は、一般参加者の特定処理を実行する(ステップS3−3)。具体的には、制御部21の画像加工部214は、無人画像(第1の天球画像)によって特定される参加者領域について、総会開催時の天球画像(第2の天球画像)において、一般参加者の人物画像を特定する。
ここでは、図12(b)に示すように、参加者が被写体として撮影された天球画像702を取得する。
【0061】
次に、管理サーバ20の制御部21は、人物画像の加工処理を実行する(ステップS3−4)。具体的には、制御部21の画像加工部214は、参加者判定条件に基づいて特定した人物画像を構成する画素を所定サイズのブロックにまとめるブロック処理を行なう。これにより、総会時被写体の解像度を落とし、参加者の人物画像をぼかす。
ここでは、図12(c)に示すように、参加者画像のみの解像度を落とした天球画像703を生成する。
【0062】
以上、本実施形態によれば、以下に示す効果を得ることができる。
(1)本実施形態では、トップ画面300において、カメラ選択部210が、カメラ選択メニュー310を出力する。各表示画面320には、議題に応じて、天球画像331、カメラ切替マップ334が出力される。これにより、複数のカメラで撮影された天球画像を、ユーザ端末10における選択に応じて提供することができる。
表示画面320には、議題一覧メニュー332、議題表示333、スライド拡大表示335が出力される。これにより、ユーザ端末10における選択に応じて、議題に応じた表示画像を提供することができる。そして、議題表示333により、ユーザ端末10において、表示中の議題を把握することができる。また、スライド拡大表示335により、スライドを中心とした情報提供を行なうことができる。
【0063】
(2)本実施形態では、スライド表示処理(ステップS1−2)の実行後、天球画像があると判定した場合(ステップS1−3において「YES」の場合)、管理サーバ20の制御部21は、天球表示処理を実行する(ステップS1−4)。これにより、天球画像を用いて、ユーザに対して情報提供を行なうことができる。
(3)本実施形態では、アイコンは表示可能と判定した場合(ステップS2−2において「YES」の場合)、管理サーバ20の制御部21は、アイコン表示処理を実行する(ステップS2−3)。これにより、ユーザ端末10の出力部15に表示された表示領域に応じて、補足説明を出力するためのアイコンを表示することができる。
【0064】
(4)本実施形態では、アイコンが選択されたと判定した場合(ステップS2−4において「YES」の場合)、管理サーバ20の制御部21は、説明画面の補足説明表示処理を実行する(ステップS2−5)。これにより、天球画像に含まれるオブジェクトについての補足説明をユーザ端末10に提供することができる。
【0065】
(5)本実施形態では、補足説明の表示歪が大きいと判定した場合(ステップS2−7において「YES」の場合)、管理サーバ20の制御部21は、補足説明表示の消去処理を実行する(ステップS2−8)。天球画像に連動する画面に補足説明を貼り付けた場合、表示領域に応じて、補足説明の形状が変形する可能性があり、変形の度合いによって補足説明が読みにくくなることがある。表示済みで変形が大きい場合には消去することにより、的確な表示画面を出力することができる。
【0066】
(6)本実施形態では、管理サーバ20の制御部21は、一般参加者の特定処理(ステップS3−3)、人物画像の加工処理(ステップS3−4)を実行する。これにより、一般参加者の個人情報の流出を抑制することができる。
【0067】
また、上記実施形態は、以下の態様に変更してもよい。
・上記実施形態では、アイコンは表示可能と判定した場合(ステップS2−2において「YES」の場合)、管理サーバ20の制御部21は、アイコン表示処理を実行する(ステップS2−3)。この場合、マーカ座標に基づいて、アイコンの表示要否を判定する。アイコン表示は、マーカ座標に限定されるものではない。例えば、天球画像に含まれる被写体を画像認識し、被写体に応じてアイコンを表示するようにしてもよい。この場合には、例えば、管理サーバ20の制御部21は、表示領域に含まれる人物を特定する。そして、管理サーバ20の制御部21は、特定した人物の情報を説明者情報記憶部23から取得し、補足説明として出力する。
【0068】
・上記実施形態では、総会開催後に、動画を配信する。これに代えて、総会開催中に撮影された天球画像をリアルタイム或いはリアルタイムに近い状態で配信するようにしてもよい。
【0069】
ここでは、総会会場内に複数のカメラを設置する。この場合、会場内に配置されたカメラのカメラIDをカメラ情報記憶部に登録しておく。そして、カメラで撮影した場合に映像に含まれる可能性がある被写体(オブジェクト)について、補足説明を行なう必要がある場合には、被写体の認識情報(配置位置や、被写体画像の特徴量)に対してマーカを設定しておく。このマーカには、補足IDが関連付けられている。
【0070】
そして、議事進行に応じて、天球画像の配信とビデオ再生とを使い分ける総会支援処理を実行する。このため、ビデオ記憶部に、議題IDに関連付けて、総会で再生するビデオを登録しておく。
【0071】
図13を用いて、総会支援処理を説明する。
まず、管理サーバ20の制御部21は、議題の特定処理を実行する(ステップS4−1)。具体的には、制御部21の進行管理部211は、総会運営者の指示に応じて、会場内のスクリーンに投影されたスライドを特定する。そして、進行管理部211は、投影スライドに応じて、現在の議題IDを特定する。
【0072】
次に、管理サーバ20の制御部21は、ビデオ説明かどうかについての判定処理を実行する(ステップS4−2)。具体的には、制御部21の進行管理部211は、この議題IDに関連付けられたビデオを検索する。そして、ビデオ記憶部に、議題IDに関連付けられたビデオが登録されている場合には、ビデオ説明と判定する。
【0073】
ビデオ説明と判定した場合(ステップS4−2において「YES」の場合)、管理サーバ20の制御部21は、ビデオ再生処理を実行する(ステップS4−3)。具体的には、制御部21の進行管理部211は、ビデオ記憶部に、登録されているビデオをユーザ端末10に配信し、出力部15において再生する。
【0074】
一方、ビデオ説明でないと判定した場合(ステップS4−2において「NO」の場合)、管理サーバ20の制御部21は、カメラ特定処理を実行する(ステップS4−4)。具体的には、制御部21の進行管理部211は、カメラ情報記憶部から選択可能なカメラIDを取得する。次に、進行管理部211は、ユーザ端末10の出力部15に、選択可能なカメラIDを含めたカメラ選択画面を出力する。そして、進行管理部211は、ユーザ端末10において選択されたカメラIDを特定する。なお、特定した議題に応じて、選択可能なカメラを予め設定しておいてもよい。この場合には、カメラ情報記憶部において、議題IDに関連付けて選択可能なカメラIDを記録しておく。
また、議題IDに関連付けられたカメラIDが1個の場合(利用可能なカメラが1台の場合)には、カメラ選択画面を出力することなく、このカメラ情報記憶部に記録されたカメラIDを特定するようにしてもよい。
【0075】
次に、管理サーバ20の制御部21は、特定したカメラの映像の配信処理を実行する(ステップS4−5)。具体的には、制御部21の天球表示部212は、特定されたカメラにおいて撮影した映像をユーザ端末10に配信する。この場合、映像に含まれる被写体(オブジェクト)にマーカが設定されている場合には、天球画像において表示指示アイコンを出力する。ここでは、図13に示す天球表示処理を実行する。
【0076】
次に、管理サーバ20の制御部21は、議事の進行かどうかについての判定処理を実行する(ステップS4−6)。具体的には、制御部21の進行管理部211は、投影スライドに関連付けられた新たな議題IDが特定された場合には議事進行と判定する。
議事進行でないと判定した場合(ステップS4−6において「NO」の場合)、管理サーバ20の制御部21は、ビデオ説明かどうかについての判定処理(ステップS4−2)以降の処理を行なう。
【0077】
一方、議事進行と判定した場合(ステップS4−6において「YES」の場合)、管理サーバ20の制御部21は、終了かどうかについての判定処理を実行する(ステップS4−7)。具体的には、制御部21の進行管理部211は、最後の「クロージング」の投影スライドが表示された場合には、終了と判定する。
【0078】
終了と判定した場合(ステップS4−7において「YES」の場合)、管理サーバ20の制御部21は、総会支援処理を終了する。
一方、終了でないと判定した場合(ステップS4−7において「NO」の場合)、管理サーバ20の制御部21は、議題の特定処理(ステップS4−1)以降の処理を繰り返す。
【0079】
・上記実施形態では、管理サーバ20の制御部21は、議題の特定処理を実行する(ステップS1−1)。この場合、図8に示す議題一覧メニュー332を用いる。議題一覧メニュー332の形態は、これに限定されるものではない。例えば、天球画像において、総会で利用されていない領域に議題一覧メニューを貼り付けるようにしてもよい。
例えば、図14に示すように、天球画像800の天井面に議題一覧メニュー801を貼り付けるようにしてもよい。この場合には、視点方向に応じて議題一覧メニューを回転させて、地面が下側になるように議題一覧メニューを貼り付ける。
【0080】
・上記実施形態では、天球画像に連動する重畳レイヤ内のマーカ座標にアイコンや補足説明を貼り付ける。これに代えて、天球画像にアイコンや補足説明を貼り付けてもよい。
【0081】
・上記実施形態では、管理サーバ20が、天球画像における画像加工処理を実行する。ここでは、参加者領域(参加者判定条件)の人物画像の画像加工処理を行なう。ここで、画像加工方法は、個人を特定できなければ、「ぼかし」に限定されない。例えば、人物画像の顔画像を他の画像に置き換えてもよい。
また、説明者の顔画像と一般参加者の顔画像とを識別して画像加工処理を行なうようにしてもよい。この場合には、説明者情報記憶部23に、説明者の顔画像の特徴量を記憶しておく。参加者判定条件として、説明者の顔画像とは異なる特徴量を用いる。
そして、制御部21の画像加工部214は、人物画像の顔画像の特徴量に基づいて、説明者と一般参加者とを識別する。この場合、人物画像の顔画像の特徴量が説明者情報記憶部23に記憶されていない場合には、制御部21の画像加工部214は、一般参加者と判定し、画像加工処理を行なう。一方、説明者情報記憶部23に記憶された説明者と判定した場合には、画像加工処理を行なわない。
【0082】
・上記実施形態では、管理サーバ20が、株主総会の画像を提供する場合を説明した。本発明の適用対象は、株主総会に限定されるものではなく、カメラで撮影した天球画像を用いて情報を提供する場合に適用することができる。
【符号の説明】
【0083】
10…ユーザ端末、11…制御部、12…メモリ、13…通信部、14…入力部、15…出力部、20…管理サーバ、21…制御部、22…議題情報記憶部、23…説明者情報記憶部、24…スライド情報記憶部、25…天球画像記憶部、26…補足情報記憶部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14