IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社zeroinonの特許一覧

<>
  • 特開-システム及びその制御方法 図1
  • 特開-システム及びその制御方法 図2
  • 特開-システム及びその制御方法 図3
  • 特開-システム及びその制御方法 図4
  • 特開-システム及びその制御方法 図5
  • 特開-システム及びその制御方法 図6
  • 特開-システム及びその制御方法 図7
  • 特開-システム及びその制御方法 図8
  • 特開-システム及びその制御方法 図9
  • 特開-システム及びその制御方法 図10
  • 特開-システム及びその制御方法 図11
  • 特開-システム及びその制御方法 図12
  • 特開-システム及びその制御方法 図13
  • 特開-システム及びその制御方法 図14
  • 特開-システム及びその制御方法 図15
  • 特開-システム及びその制御方法 図16
  • 特開-システム及びその制御方法 図17
  • 特開-システム及びその制御方法 図18
  • 特開-システム及びその制御方法 図19
  • 特開-システム及びその制御方法 図20
  • 特開-システム及びその制御方法 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176418
(43)【公開日】2023-12-13
(54)【発明の名称】システム及びその制御方法
(51)【国際特許分類】
   H04N 21/234 20110101AFI20231206BHJP
   H04N 21/24 20110101ALI20231206BHJP
【FI】
H04N21/234
H04N21/24
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022088688
(22)【出願日】2022-05-31
(71)【出願人】
【識別番号】521498760
【氏名又は名称】株式会社zeroinon
(74)【代理人】
【識別番号】100098899
【弁理士】
【氏名又は名称】飯塚 信市
(74)【代理人】
【識別番号】100163865
【弁理士】
【氏名又は名称】飯塚 健
(72)【発明者】
【氏名】上岡 玲子
(72)【発明者】
【氏名】赤塚 大典
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164SB01P
5C164SB41P
5C164YA30
(57)【要約】      (修正有)
【課題】情報取得装置の周囲の環境に配慮した画像等の情報を情報提示装置へと提供するシステム及び方法を提供する。
【解決手段】配信サーバ30と、配信サーバとインターネット1を介して接続可能に構成された情報取得装置10と、配信サーバとインターネット1を介して接続可能に構成されユーザに情報を提示する情報提示装置50と、から成る情報配信システム100であって、情報取得装置は、撮像手段と、撮像手段を介して画像情報を取得する、画像情報取得部と、を備える。サーバは、情報取得装置近傍の特定の位置又は領域である特定位置又は特定領域に関するユーザのアクセス権限を記憶する記憶部と、アクセス権限に応じて、画像情報に係る画像のうち、特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う制限処理部と、を備える。情報提示装置は、画像又は視覚的制限処理が行われた画像を提示する画像情報提示部を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
配信サーバと、前記配信サーバと接続可能に構成された情報取得装置と、前記配信サーバと接続可能に構成されユーザに情報を提示する情報提示装置と、から成るシステムであって、
前記情報取得装置は、
撮像手段と、
前記撮像手段を介して画像情報を取得する、画像情報取得部と、を備え、
前記サーバは、
前記情報取得装置近傍の特定の位置又は領域である特定位置又は特定領域に関する前記ユーザのアクセス権限を記憶する、記憶部と、
前記アクセス権限に応じて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、制限処理部と、を備え、
前記情報提示装置は、
前記画像又は前記視覚的制限処理が行われた画像を提示する、画像情報提示部を備える、システム。
【請求項2】
前記撮像手段は、全天球カメラである、請求項1に記載のシステム。
【請求項3】
前記サーバは、前記撮像手段を介して得られた画像情報からマーカーを検出し、前記マーカーに対応付けられた情報に基づいて、前記情報取得装置から前記特定位置又は特定領域までの距離と方向を推定する、推定処理部をさらに備える、請求項1に記載のシステム。
【請求項4】
前記画像中の前記マーカーの検出は、予め機械学習を行った学習済モデルを用いて行われる、請求項3に記載のシステム。
【請求項5】
前記マーカーは、前記情報取得装置の存在する建物内の天井に設置されている、請求項3に記載のシステム。
【請求項6】
前記視覚的制限処理は、画像のマスキング処理である、請求項1に記載のシステム。
【請求項7】
前記撮像手段は、全天球カメラであり、
前記画像情報取得部は、全天球画像情報を取得し、
前記サーバは、
前記情報提示装置において指定された画像領域の画像についての情報量が、指定された前記画像領域以外の画像の情報量に比して相対的に大きくなるよう変換処理を行う、情報量変換部をさらに備え、
前記画像情報提示部は、前記指定した画像領域の画像を視野画像として提示する、請求項1に記載のシステム。
【請求項8】
前記情報量変換部は、指定されていない画像領域の解像度を指定された画像領域の解像度よりも低い状態とする処理を行う、請求項7に記載のシステム。
【請求項9】
前記情報量変換部は、指定されていない画像領域のフレームレートを指定された画像領域のフレームレートよりも低い状態とする処理を行う、請求項7に記載のシステム。
【請求項10】
前記情報量変換部は、指定されていない画像領域の画質を指定された画像領域の画質よりも低い状態とする処理を行う、請求項7に記載のシステム。
【請求項11】
前記情報量変換部は、さらに、
前記指定されていない画像領域であって前記情報提示装置において指定されることが予測される画像領域の画像について、前記指定された画像領域の画像と同様の情報量とする処理を行う、請求項7に記載のシステム。
【請求項12】
前記予測は、前記情報提示装置におけるユーザの操作傾向を機械学習した学習済モデルを用いて行われる、請求項11に記載のシステム。
【請求項13】
前記情報取得装置は、さらに、
前記情報取得装置の位置及び方向を取得する、位置取得手段を備え、
前記サーバは、さらに、
前記位置取得手段にて取得された位置及び方向に基づいて、前記特定位置又は特定領域までの距離及び方向を決定する、距離決定部を備え、
前記制限処理は、前記距離及び方向に基づいて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、請求項1に記載のシステム。
【請求項14】
前記位置取得手段は、無線通信である、請求項13に記載のシステム。
【請求項15】
前記位置取得手段は、GPSである、請求項13に記載のシステム。
【請求項16】
前記情報提示装置は複数である、請求項1に記載のシステム。
【請求項17】
前記アクセス権限が、前記ユーザの前記特定位置又は領域のアクセスを許容するものである場合、前記特定位置又は特定領域に存在する物体の所有者へと電子的に金銭的利益の移転を行う、利益移転手段をさらに備える、請求項1に記載のシステム。
【請求項18】
前記画像情報提示部への画像提示処理が終了した場合、前記ユーザから、前記情報取得装置の利用者である配信者へと電子的に金銭的利益の移転が行われる、請求項1に記載のシステム。
【請求項19】
配信サーバと、前記配信サーバと接続可能に構成され撮像手段を備えた情報取得装置と、前記配信サーバと接続可能に構成されユーザに情報を提示する情報提示装置と、から成るシステムの制御方法であって、
前記情報取得装置において、前記撮像手段を介して画像情報を取得する、画像情報取得ステップと、
前記サーバにおいて、前記情報取得装置近傍の特定の位置又は領域である特定位置又は特定領域に関する前記ユーザのアクセス権限を記憶する、記憶ステップと、
前記サーバにおいて、前記アクセス権限に応じて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、制限処理ステップと、
前記情報提示装置において、前記画像又は前記視覚的制限処理が行われた画像を提示する、画像情報提示ステップと、を備える、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報提供システム、特に、画像情報等の提供システム等に関する。
【背景技術】
【0002】
近年、スマートフォンやタブレット端末等の様々なセンサを備えた情報処理端末が普及している。また、そのような情報処理端末と組み合わせて、360°画像等の広角画像を撮影するカメラレンズ等のアタッチメントも普及しつつある。
【0003】
このような背景において、近年、所望の遠隔地の情報処理端末と、自身の端末とを接続して、ユーザが自身の希望する画像等の情報の提供を受ける技術が提案されている。
【0004】
例えば、特許文献1には、情報提示装置(依頼者端末)と遠隔地にある情報取得装置(提供者端末)とをマッチングした後、情報取得装置から情報提示装置へと、情報取得装置で取得された情報を配信するシステムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2022-55959号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、従前のこの種のシステムでは、情報取得装置において撮影等された画像等の情報は、基本的には、そのまま情報提示装置へと配信されていた。
【0007】
しかしながら、情報取得装置の撮影エリアの状況によっては、撮影された画像等の情報をそのまま提供することが適切ではない場合があった。例えば、撮影エリア内にプライバシーに配慮すべき領域や対象、他人の所有物等が存在する場合には、その所有者等の許可を得ていない限り、当該物等を撮影することが許されない又は好ましくないおそれがある。そのような物は、情報取得装置を操作する撮影者が意図的に撮影しないようにすることも可能であるが、意図せず映り込んでしまうおそれを排除できない。
【0008】
本発明は、上述の技術的背景に鑑みてなされたものであり、その目的とするところは、情報取得装置の周囲の環境に配慮した画像等の情報を情報提示装置へと提供することにある。
【課題を解決するための手段】
【0009】
上述の技術的課題は、以下の構成を有するシステム、方法等により解決することができる。
【0010】
すなわち、本発明に係るシステムは、配信サーバと、前記配信サーバと接続可能に構成された情報取得装置と、前記配信サーバと接続可能に構成されユーザに情報を提示する情報提示装置と、から成るシステムであって、前記情報取得装置は、撮像手段と、前記撮像手段を介して画像情報を取得する、画像情報取得部と、を備え、前記サーバは、前記情報取得装置近傍の特定の位置又は領域である特定位置又は特定領域に関する前記ユーザのアクセス権限を記憶する、記憶部と、前記アクセス権限に応じて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、制限処理部と、を備え、前記情報提示装置は、前記画像又は前記視覚的制限処理が行われた画像を提示する、画像情報提示部を備えている。
【0011】
このような構成によれば、ユーザのアクセス権限に応じて、特定の位置又は領域に存在する物等について選択的に情報提示を行うことができる。これにより、配信者が意識せずとも、情報取得装置の周囲の環境に配慮した画像等の情報を情報提示装置へと提供することができる。また、経済的、金銭的利益の移転手段と結びつけることで、様々な配信ビジネスを提供することができる。例えば、ユーザの課金状況に応じて、特定の位置又は領域に存在する物等について選択的にユーザへと情報提示を行ったり、視覚的制限処理を行った位置又は領域に存在する物体の所有者等へと金銭的利益を与えること等ができる。
【0012】
なお、視覚的制限処理とは、例えば、マスキング処理やぼかし処理等のように、要するに対象の認識可能性を低下させる画像処理である。
【0013】
前記撮像手段は、全天球カメラであってもよい。
【0014】
このような構成によれば、ユーザのアクセス権限に応じて、全天球カメラで取得された広角画像のうち特定の位置又は領域に相当する位置又は領域に対して所定の視覚的制限処理が行われる。
【0015】
前記サーバは、前記撮像手段を介して得られた画像情報からマーカーを検出し、前記マーカーに対応付けられた情報に基づいて、前記情報取得装置から前記特定位置又は特定領域までの距離と方向を推定する、推定処理部をさらに備える、ものであってもよい。
【0016】
このような構成によれば、画像中のマーカーを利用することにより、情報取得装置から特定位置又は領域までの詳細な位置や方向を推定することができる。
【0017】
前記画像中の前記マーカーの検出は、予め機械学習を行った学習済モデルを用いて行われる、ものであってもよい。
【0018】
このような構成によれば、機械学習の汎化作用により、様々な状態にあるマーカーを検出することができる。特に、この学習済モデルは、例えば、全天球カメラにより取得された画像から歪んだマーカー等を検出するのに有効である。
【0019】
前記マーカーは、前記情報取得装置の存在する建物内の天井に設置されている、ものであってもよい。
【0020】
このような構成によれば、人が密集していること等により水平視野が限定されているような状況においても、情報取得装置の位置と方向を推定することができる。
【0021】
前記視覚的制限処理は、画像のマスキング処理であってもよい。
【0022】
このような構成によれば、画像中の特定の位置又は領域に相当する位置又は領域をマスキングにより完全に隠すことができる。
【0023】
前記撮像手段は、全天球カメラであり、前記画像情報取得部は、全天球画像情報を取得し、前記サーバは、前記情報提示装置において指定された画像領域の画像についての情報量が、指定された前記画像領域以外の画像の情報量に比して相対的に大きくなるよう変換処理を行う、情報量変換部をさらに備え、前記画像情報提示部は、前記指定した画像領域の画像を視野画像として提示する、ものであってもよい。
【0024】
このような構成によれば、指定領域の情報量を非指定領域の情報量よりも大きくすることで、ユーザの指定領域の画像の情報量は維持しつつもサーバから情報提示装置への情報通信量を抑制することができる。なお、指定された画像領域の情報量がそうでない画像領域の情報量よりも相対的に大きくなればよい。従って、指定された画像領域の情報量を大きくする処理を行ってもよいし、指定されていない画像領域の情報量を小さくする処理を行ってもよい。
【0025】
前記情報量変換部は、指定されていない画像領域の解像度を指定された画像領域の解像度よりも低い状態とする処理を行う、ものであってもよい。
【0026】
このような構成によれば、ユーザの指定領域の画像解像度は維持しつつもサーバから情報提示装置への情報の通信量を抑制することができる。
【0027】
前記情報量変換部は、指定されていない画像領域のフレームレートを指定された画像領域のフレームレートよりも低い状態とする処理を行う、ものであってもよい。
【0028】
このような構成によれば、ユーザの指定領域のフレームレートは維持しつつもサーバから情報提示装置への情報の通信量を抑制することができる。
【0029】
前記情報量変換部は、指定されていない画像領域の画質を指定された画像領域の画質よりも低い状態とする処理を行う、ものであってもよい。
【0030】
このような構成によれば、ユーザの指定領域の画質は維持しつつもサーバから情報提示装置への情報の通信量を抑制することができる。
【0031】
前記情報量変換部は、さらに、前記指定されていない画像領域であって前記情報提示装置において指定されることが予測される画像領域の画像について、前記指定された画像領域の画像と同様の情報量とする処理を行う、ものであってもよい。
【0032】
このような構成によれば、ユーザの指定領域のみならず、ユーザが指定するであろう領域まで相対的に大きい情報量を維持するので、ユーザが指定領域を変更しても、迅速に高い情報量の画像を提供することができる。
【0033】
前記予測は、前記情報提示装置におけるユーザの操作傾向を機械学習した学習済モデルを用いて行われる、ものであってもよい。
【0034】
このような構成によれば、情報提示装置に関するユーザの操作傾向から、次に指定されるであろう画像領域を予測して、迅速に高い情報量の画像を提供することができる。
【0035】
前記情報取得装置は、さらに、前記情報取得装置の位置及び方向を取得する、位置取得手段を備え、前記サーバは、さらに、前記位置取得手段にて取得された位置及び方向に基づいて、前記特定位置又は特定領域までの距離及び方向を決定する、距離決定部を備え、前記制限処理は、前記距離及び方向に基づいて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、ものであってもよい。
【0036】
このような構成によれば、現地にある情報取得装置により取得された位置及び方向情報に基づいて、特定の位置又は領域までの距離及び方向を決定することができる。
【0037】
前記位置取得手段は、無線通信であってもよい。
【0038】
このような構成によれば、例えば、現地で提供された無線通信により得られた位置と方向に基づいて、特定の位置又は領域に係る視覚的制限処理を行うことができる。
【0039】
前記位置取得手段は、GPSであってもよい。
【0040】
このような構成によれば、GPSにより得られた位置と方向に基づいて、特定の位置又は領域に係る視覚的制限処理を行うことができる。
【0041】
前記情報提示装置は複数であってもよい。
【0042】
このような構成によれば、例えば一の情報取得装置からの画像を複数の情報提示装置にておいて共有することができる。
【0043】
前記アクセス権限が、前記ユーザの前記特定位置又は領域のアクセスを許容するものである場合、前記特定位置又は特定領域に存在する物体の所有者へと電子的に金銭的利益の移転を行う、利益移転手段をさらに備える、ものであってもよい。
【0044】
このような構成によれば、特定の位置又は領域に存在する物体の所有者等へとその物体の公開のインセンティブを与えることができる。
【0045】
前記画像情報提示部への画像提示処理が終了した場合、前記ユーザから、前記情報取得装置の利用者である配信者へと電子的に金銭的利益の移転が行われる、ものであってもよい。
【0046】
このような構成によれば、配信者へと配信に対するインセンティブを与えることができる。
【0047】
別の側面から見た本発明は方法である。すなわち、本発明に係る方法は、配信サーバと、前記配信サーバと接続可能に構成され撮像手段を備えた情報取得装置と、前記配信サーバと接続可能に構成されユーザに情報を提示する情報提示装置と、から成るシステムの制御方法であって、前記情報取得装置において、前記撮像手段を介して画像情報を取得する、画像情報取得ステップと、前記サーバにおいて、前記情報取得装置近傍の特定の位置又は領域である特定位置又は特定領域に関する前記ユーザのアクセス権限を記憶する、記憶ステップと、前記サーバにおいて、前記アクセス権限に応じて、前記画像情報に係る画像のうち、前記特定位置又は特定領域に相当する位置又は領域に対して所定の視覚的制限処理を行う、制限処理ステップと、前記情報提示装置において、前記画像又は前記視覚的制限処理が行われた画像を提示する、画像情報提示ステップと、を備えている。
【発明の効果】
【0048】
本発明によれば、情報取得装置の周囲の環境に配慮した画像等の情報を情報提示装置へと提供することができる。
【図面の簡単な説明】
【0049】
図1図1は、情報配信システムの全体構成図である。
図2図2は、情報取得装置の概略構成図である。
図3図3は、配信サーバの概略構成図である。
図4図4は、情報提示装置の概略構成図である。
図5図5は、アクセス権限の設定処理に関するゼネラルフローチャートである。
図6図6は、マップ情報の登録処理に関する詳細フローチャートである。
図7図7は、イベント会場マップの例を示す図である。
図8図8は、360°カメラによる撮影画像の例を示す図である。
図9図9は、学習済モデルの生成処理に関するゼネラルフローチャートである。
図10図10は、学習データの生成・記憶処理の詳細フローチャートである。
図11図11は、配信処理を行う場合の情報取得装置の動作フローチャートである。
図12図12は、配信処理が行われる場合の情報提示装置の動作フローチャート(その1)である。
図13図13は、情報提示装置のディスプレイに表示される画像の例である。
図14図14は、配信処理が行われる場合の情報提示装置の動作フローチャート(その2)である。
図15図15は、配信処理が行われる場合の配信サーバの動作フローチャート(その1)である。
図16図16は、配信処理が行われる場合の配信サーバの動作フローチャート(その2)である。
図17図17は、制限エリアに関する画像処理領域の特定処理の詳細フローチャートである。
図18図18は、マーカーの読取処理の詳細フローチャートである。
図19図19は、特定制限エリアに対してマスキング処理を行った例を示す図である。
図20図20は、表示領域とその他の領域の情報量に関する説明図である。
図21図21は、経済的・金銭的利益の移転に関する概念図である。
【発明を実施するための形態】
【0050】
以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。
【0051】
(1.第1の実施形態)
(1.1 システムの構成)
第1の実施形態として、本発明を、所定の会場内で行われる展示イベントの配信を行う情報配信システム100に対して適用した例について説明する。なお、本実施形態においては、所定の会場内で行われる展示会における配信を例として説明するものの、本発明はそのような構成に限定されない。従って、例えば、屋外で開催されるイベント等に適用してもよいし、特別なイベントではなく街中の配信等に適用してもよい。
【0052】
図1は、本実施形態に係る情報配信システム100の全体構成図である。同図から明らかな通り、情報配信システム100は、情報取得装置10と、配信サーバ30と、情報提示装置50とをインターネット1を介して接続することにより構成されている。
【0053】
情報取得装置10は、本実施形態においては、360°カメラを備えた携帯型の情報処理装置であり、会場内を移動する配信者に把持されて用いられる。
【0054】
配信サーバ30は、情報取得装置10と情報提示装置50との仲介を行うサーバであり、後述の種々の処理を行う。
【0055】
情報提示装置50は、情報配信システム100を利用するユーザに対して、画像や音声等の情報提示を行う情報処理装置である。例えば、携帯型の情報処理装置である。
【0056】
なお、同図においては、例示的に各装置が1つだけ示されているものの、本発明はこのような構成に限定されない。従って、各装置とも複数又は多数存在してもよいことは勿論である。また、後述の通り、情報の配信を行う上で、1つの情報取得装置10とN個(>1)の情報提示装置50とを対応付けるような構成としてもよい(1:N)。
【0057】
図2は、情報取得装置10の概略構成図である。同図から明らかな通り、情報取得装置10は、制御部11、記憶部12、通信部13、表示部15、入力部16、マイク17、360°カメラ18、スピーカ19とを備え、それらはバスを介して接続されている。本実施形態において、情報取得装置10は、例えば、スマートフォンやタブレット端末等の情報処理装置である。
【0058】
制御部11は、CPU等の演算装置であり、後述の種々のプログラムの実行処理を行う。記憶部12は、ROM/RAM、フラッシュメモリ、ハードディスク等の記憶装置であり、種々のプログラムやデータを格納している。通信部13は、外部装置との間の通信を行うための無線通信ユニットである。表示部15は、ディスプレイ等の表示装置と接続されて表示制御を行う。
【0059】
入力部16は、ボタンやタッチパネル等に接続されて入力を受け付け、入力信号を制御部11へと提供する処理を行う。マイク17は音声等の収音装置であり、音声信号はデジタル変換されて制御部11へと提供される。360°カメラ18は、全天球画像を撮影可能な広角レンズを備えたカメラであり、撮像素子から得られたデジタル信号は制御部11へと提供される。スピーカ19は、制御部11等の指令に応じて音声出力を行う。
【0060】
なお、全天球画像は、一の360°カメラで生成する必要はなく、例えば、魚眼レンズを2個背中合わせに使用して、画像処理により全天球画像を間接的に生成する等してもよい。
【0061】
図3は、配信サーバ30の概略構成図である。同図から明らかな通り、配信サーバ30は、制御部31、記憶部32、通信部33、入力部35、スピーカ36、及び、表示部37を備え、それらはバスを介して接続されている。本実施形態において、配信サーバ30は、例えば、PC(パーソナル・コンピュータ)等の情報処理装置である。
【0062】
制御部31は、CPU、GPU等の演算装置であり、後述の種々のプログラムの実行処理を行う。記憶部32は、ROM/RAM、フラッシュメモリ、ハードディスク等の記憶装置であり、種々のプログラムやデータを格納している。通信部33は、外部装置との間の通信を行うための無線通信ユニットである。
【0063】
入力部35は、キーボード、ボタン、タッチパネル等に接続されて入力を受け付け、入力信号を制御部31へと提供する処理を行う。スピーカ36は、制御部31等の指令に応じて音声出力を行う。表示部37は、ディスプレイ等の表示装置と接続されて表示制御を行う。
【0064】
図4は、情報提示装置50の概略構成図である。同図から明らかな通り、情報提示装置50は、制御部51、記憶部52、通信部53、表示部55、入力部56、マイク57、カメラ58、スピーカ59とを備え、それらはバスを介して接続されている。本実施形態において、情報提示装置50は、例えば、スマートフォンやタブレット端末等の情報処理装置である。
【0065】
制御部51は、CPU等の演算装置であり、後述の種々のプログラムの実行処理を行う。記憶部52は、ROM/RAM、フラッシュメモリ、ハードディスク等の記憶装置であり、種々のプログラムやデータを格納している。通信部53は、外部装置との間の通信を行うための無線通信ユニットである。表示部55は、ディスプレイ等の表示装置と接続されて表示制御を行う。
【0066】
入力部56は、ボタンやタッチパネル等に接続されて入力を受け付け、入力信号を制御部51へと提供する処理を行う。マイク57は音声等の収音装置であり、音声信号はデジタル変換されて制御部51へと提供される。カメラ58は撮像素子を備え撮像素子から得られたデジタル信号は制御部51へと提供される。スピーカ59は、制御部51等の指令に応じて音声出力を行う。
【0067】
なお、以上のハードウェア構成は例示であり、種々に変形して実施してもよい。
【0068】
(1.2 システムの動作)
次に、本実施形態に係る情報配信システム100の動作について説明する。なお、本実施形態においては、情報配信システム100に対する事前の設定処理と、その後の配信処理について説明する。
【0069】
(1.2.1 事前の設定処理)
図5は、イベント会場マップへのアクセス権限の設定処理に関するゼネラルフローチャートである。同図から明らかな通り、まず、展示イベントの主催者等は、イベント会場に1又は複数のマーカーを設置する(S10)。
【0070】
マーカーは、例えば、2次元コードであり、会場内におけるマーカーから特定制限エリアまでの距離と方向に関する情報を含んでいる。このようなマーカーをカメラ等で検出することで、カメラから後述の特定制限エリアまでの距離及び方向を特定することができる。
【0071】
なお、マーカーにコードされる情報はこのような情報に限定されない。従って、例えば、マーカーの絶対的な位置又は方向に関する情報を含んでもよい。また、マーカーは2次元コードに限定されず、他の態様のマーカーであってもよい。
【0072】
マーカーは、本実施形態においては、イベント会場の天井に貼付される。このような構成によれば、マーカーをカメラで検出する場合であっても、人垣等の水平方向の障害物に検出を阻害されることがない。
【0073】
会場へのマーカーの設置が完了すると、次に、展示イベント等の主催者等は、配信サーバ30へとマップ情報の登録処理を行う(S11)。
【0074】
図6は、マップ情報の登録処理に関する詳細フローチャートである。同図から明らかな通り、始めに、主催者等は、イベント会場マップを配信サーバ30の記憶部32へと登録する処理を行う(S111)。
【0075】
図7は、本実施形態に係るイベント会場マップの例を示す図である。同図から明らかな通り、イベント会場マップは、2次元のマップ情報である。同図の例にあっては、ホールA~ホールDの4つのホールと通路等が示されている。後述するように、配信者は情報取得装置10を用いてこのイベント会場内の撮影等を行うこととなる。
【0076】
図6に戻り、イベント会場マップの登録処理が完了すると、次に、情報取得装置10の360°カメラ18を用いて、イベント会場内を撮影する処理を行う(S112)。
【0077】
この撮影は、情報取得装置10において会場内の通信装置とWi-Fi通信を確立して、情報取得装置10の位置座標を取得しつつ行われる。すなわち、会場内の画像と同画像に対応する位置座標のセットを生成する。
【0078】
図8は、360°カメラによる撮影画像の例を示す図である。同図から明らかな通り、本実施形態においては360°カメラ(全天球カメラ)18を用いて撮影が行われるので、全天球画像又は広角画像が得られる。同図の例にあっては、中心付近が天井を表し、周縁部に近い方が床面を表している。
【0079】
なお、本実施形態においては、Wi-Fi通信を用いて世界座標における位置の取得を行ったが、本発明はそのような構成に限定されず、他の手段により位置座標の取得を行ってもよい。例えば、GPS(Global Positioning System)等を用いてもよい。
【0080】
一連の撮影処理が完了すると、主催者等は、撮影した画像と対応する位置座標を配信サーバ30の記憶部32へと登録する処理を行う(S113)。
【0081】
この登録処理の後、取得した位置座標に基づいて、イベント会場マップへと世界座標をマッピングする処理が行われる(S115)。この世界座標のマッピング処理は、既存の種々の手法が採用可能である。
【0082】
図5に戻り、マップ情報の登録処理が完了すると、主催者等は、配信サーバ30において制限エリアの設定処理を行う(S12)。制限エリアとは、イベント会場マップの所定の領域、例えば、ホール単位等の一定面積以上を有する比較的に広い領域であり、後述するように、提示される際に視覚的制限処理が行われるエリアである。
【0083】
制限エリアの設定は、配信サーバ30上でイベント会場マップを開き、自由曲線や幾何図形等を用いて特定の領域を指定することにより行われる。例えば、図7のイベント会場マップにおいては、破線で示される長方形を用いてホールAに相当する領域が指定されている。
【0084】
制限エリアの設定処理の後、主催者等は、配信サーバ30において、当該制限エリアに関するアクセスレベルを設定する処理を行う(S13)。本実施形態においては、アクセスレベルは「1」と「2」の2段階の数値である。例えば、所定の制限エリアのアクセスレベルが「2」の場合であって、後述のユーザのアクセス権限が「1」の場合には、権限が足りないため当該制限エリアには視覚的制限処理がなされ、一方、ユーザのアクセス権限が「2」の場合には、当該制限エリアについて視覚的制限なく閲覧可能となる。
【0085】
制限エリアに関するアクセスレベルの設定処理が完了した後、マーカーに対応する特定制限エリアの設定処理が行われる(S15)。本実施形態において、特定の制限エリアは、制限エリアよりもより狭い特定の領域(ポイント領域)であり、マーカーとは所定の位置関係(特定の距離及び方向)にある。例えば、本実施形態においては、ホールAに展示される展示物に相当する領域である。
【0086】
特定制限エリアの設定は、本実施形態においては、イベント会場マップを開き、自由曲線や幾何図形等を用いて特定の展示物(又は物体)や領域を指定することにより行われる。
【0087】
特定制限エリアの設定処理の後、主催者等は、特定制限エリアに関するアクセスレベルを設定する処理を行う(S16)。本実施形態においては、アクセスレベルは「1」と「2」の2段階の数値である。例えば、所定の特定制限エリアのアクセスレベルが「2」の場合であって、後述のユーザのアクセス権限が「1」の場合には、権限が足りないため当該特定制限エリアには視覚的制限処理がなされ、一方、ユーザのアクセス権限が「2」の場合には、当該特定制限エリアについて視覚的制限なく閲覧可能となる。
【0088】
特定制限エリアに関するアクセス設定処理の後、主催者等は、ユーザ情報の登録処理を行う(S17)。本実施形態において、ユーザ情報は、少なくとも、ユーザの識別情報と、ユーザのアクセス権限情報を含む。
【0089】
アクセス権限情報は、本実施形態においては「1」又は「2」の2段階の数値である。アクセス権限情報は、例えば、ユーザからの料金の支払い等に応じて設定されたものであり、例えば、所定の料金を支払うことでアクセス権限が「1」から「2」に変更される。
【0090】
以上により、イベント会場マップへのアクセス権限の設定処理は完了する。
【0091】
図9は、学習済モデルの生成処理に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、まず、学習データの生成・記憶処理が行われる(S21)。
【0092】
図10は、学習データの生成・記憶処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、配信サーバ30は、データの読出処理を行う(S211)。このデータには、情報取得装置10により取得された会場内の全天球画像データが含まれる。
【0093】
データの読出処理の後、読み出した画像データに係る画像中のマーカーに相当する領域の特定処理を行う(S212)。この画像中のマーカー領域に相当する領域の特定は、目視により人手で行われる。なお、本実施形態において、画像は全天球画像であるので、マーカー領域は歪んでいる。
【0094】
マーカー領域の特定処理の後、配信サーバ30は、画像に対応付けられている位置情報と全天球画像中のマーカー領域に基づいて、情報取得装置10からマーカーへの距離と方向を算出し、画像にラベリングする処理を行う(S213)。
【0095】
ラベリング処理の後、配信サーバ30は、ラベリング処理がなされた画像に基づいて、画像の輝度・彩度の異なる汎化用データを生成する処理を行う(S215)。こうして生成された汎化用データも併せて学習の対象となる。
【0096】
汎化用データの生成処理の後、配信サーバ30は、不正解データの生成処理を行う(S216)。
【0097】
不正解データの生成処理の後、配信サーバ30は、学習データの記憶処理を行う(S217)。この学習データには、ラベリング処理された画像データ、汎化用データ、及び、不正解データ等が含まれる。
【0098】
図9に戻り、学習データの生成・記憶処理が完了すると、配信サーバ30は、学習モデルに関する情報の読出処理を行う(S22)。学習モデルに関する情報とは、学習モデルとそれに付随するパラメータである。本実施形態において、学習モデルはニューラルネットワークであり、付随するパラメータは、学習モデルの構造(各層のニューロン数、層数など)、学習率、重み等などの値である。なお、学習モデルは、他の機械学習可能なモデルであってもよい。
【0099】
学習モデルに関する情報の読出処理の後、配信サーバ30は、学習データと学習モデルに関する情報に基づいて、学習処理を行う(S23)。具体的には、マーカーが含まれた画像情報に基づいて、情報取得装置10からマーカー領域、及び、マーカーまでの距離と方向を推論する学習済モデルを生成するよう学習処理を行う。この学習処理にあたっては、例えば、学習モデルに対する教師あり学習が行われる。
【0100】
学習処理の後、配信サーバ30は、学習済モデルを記憶部32へと記憶する処理を行って、処理は終了する(S25)。
【0101】
(1.2.2 配信処理)
図11は、配信処理を行う場合の情報取得装置10の動作フローチャートである。同図から明らかな通り、処理が開始すると、情報取得装置10は、360°カメラ18とマイク17とを起動する処理を行う(S32)。起動を行うことで、それぞれ、情報取得装置10周辺の全天球画像情報と音声情報を取得することができる。
【0102】
起動処理の後、情報取得装置10は、イベント会場内のルーター等との間で無線通信(Wi-Fi通信)を確立する(S33)。この通信により、会場内における情報取得装置10の位置と方向を把握することができる。
【0103】
その後、情報取得装置10は、軌道した360°カメラ18とマイク17とを用いて、周辺情報の収集処理を行う(S35)。すなわち、本実施形態において、情報とは、情報取得装置10の位置及び方向情報と、それに対応する全天球画像情報、音声情報である。
【0104】
情報収集処理の後、情報取得装置10は、収集した情報をインターネット1を介して配信サーバ30へと適宜に送信する処理を行う(S36)。
【0105】
情報取得装置10は、この一連の処理(S35~S37)を、所定の終了指示が情報取得装置10において検出されるまで繰り返して行う(S37NO)。
【0106】
終了指示が検出されると(S37YES)、起動した360°カメラ18やマイク17等をディアクティベイトする処理等の終了処理を行って(S38)、処理は終了する。
【0107】
図12は、配信処理が行われる場合の情報提示装置50の動作フローチャート(その1)である。同図から明らかな通り、処理が開始すると、情報提示装置50は、配信サーバ30からの配信情報の受信を待機する状態となる(S41NO)。
【0108】
この状態において、所定の配信情報を受信すると(S41YES)、情報提示装置50は、配信情報に基づく提示処理(S42)、すなわち、表示部55に画像を表示し、スピーカ59から音声を出力する処理を行う。なお、本実施形態において、画像には動画像が含まれ、所謂、画像と音声についてストリーミング配信が行われてもよい。
【0109】
図13は、情報提示装置50のディスプレイに表示される画像の例である。同図から明らかなように、情報取得装置10にて取得された画像情報等の情報は、配信サーバ30を介して、情報提示装置50を使用するユーザへと提示される。
【0110】
その後、情報提示装置50は、情報提示装置50に対して入力部56等を介して停止リクエストが入力されているかを検出する(S43)。停止リクエストに関する入力が検出されない場合、再び、一連の処理が繰り返される(S41~S43)。
【0111】
一方、停止リクエストに関する入力が検出された場合、処理は終了する。
【0112】
図14は、配信処理が行われる場合の情報提示装置50の動作フローチャート(その2)である。同図から明らかな通り、処理が開始すると、情報提示装置50は、操作入力が検出されるまで待機状態となる(S51NO)。
【0113】
この状態において、入力部56等を介して操作入力が行われると(S51YES)、情報提示装置50は、表示領域指示情報を配信サーバ30へと送信する処理を行う(S52)。なお、この操作入力は、本実施形態においては、タッチパネルを介した入力である。なお、操作入力の手段は他の従前知られる如何なる入力手段であってもよい。また、表示領域指示情報は、360°カメラ画像のうち、どの領域又は範囲を情報提示装置50に提示するかを指示する情報である。
【0114】
この送信処理が完了すると、再び一連の処理が繰り返される(S51~S52)。
【0115】
すなわち、本実施形態においては、情報提示装置50のディスプレイと整合するタッチパネルを操作することにより、360°カメラ画像のうち、どの領域又は範囲を情報提示装置50に提示するかを指示することができる。
【0116】
図15は、配信処理が行われる場合の配信サーバ30の動作フローチャート(その1)である。同図から明らかな通り、配信サーバ30は、配信処理が開始すると、情報提示装置50からの表示領域指示情報を受信待機する状態となる(S61NO)。
【0117】
この状態において、表示領域指示情報を受信すると(S61YES)、配信サーバ30は、表示対象となる領域に関する情報、すなわち、表示領域情報を記憶部32へと記憶する処理を行う(S62)。
【0118】
図16は、配信処理が行われる場合の配信サーバ30の動作フローチャート(その2)である。同図から明らかな通り、配信サーバ30は、処理が開始すると、記憶部32からユーザ情報を読み出す処理を行う(S71)。上述の通り、このユーザ情報には、少なくとも、ユーザの識別情報と、制限エリア及び特定制限エリアに関するユーザのアクセス権限情報が含まれる。
【0119】
この読出処理の後、配信サーバ30は、情報取得装置10からの収集情報の受信を待機する状態となる(S72NO)。この状態において、情報取得装置10からの収集情報を受信すると(S72YES)、配信サーバ30は、制限エリアに関する画像処理領域の特定処理を行う(S73)。
【0120】
図17は、制限エリアに関する画像処理領域の特定処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、配信サーバ30は、配信対象となるユーザの制限エリアに関するアクセス権限を読み出してその有無を確認する(S731)。制限エリアへのアクセス権限がある場合(例えば、制限エリアのアクセスレベルが「2」でユーザーのアクセス権限が「2」の場合)(S731YES)、処理は終了する。すなわち、この場合は、画像処理すべき領域が無い場合に相当する。
【0121】
一方、制限エリアへのアクセス権限がない場合(例えば、制限エリアのアクセスレベルが「2」でユーザーのアクセス権限が「1」で権限が不足する場合)、配信サーバ30は、収集情報から情報取得装置10の位置及び方向情報を読み出す処理を行う(S732)。すなわち、この場合は、画像処理すべき領域がある場合に相当する。
【0122】
情報取得装置10の位置及び方向情報を読み出した後、配信サーバ30は、それらの情報に基づいて、既知の制限エリアまでの方向と距離を推定する処理を行う(S733)。配信サーバ30は、この距離と方向情報に基づいて、情報取得装置10から提供された全天球画像における画像処理領域を特定する処理を行う(S735)。
【0123】
図16に戻り、画像処理領域の特定処理の結果、画像処理すべき領域が有る場合(S75YES)、配信サーバ30は、当該領域に対して画像処理を行う。この画像処理は制限エリアに相当する領域に対して視覚的制限処理を加える処理である。例えば、対象領域のマスキング処理やぼかし処理である。なお、例えば、視覚的制限処理を行いつつ他の処理を追加的に行ってもよい。例えば、視覚的制限処理を行った上で広告画像を表示する処理等を行ってもよい。
【0124】
一方、画像処理領域の特定処理の結果、画像処理すべき領域が無い場合(S75NO)、配信サーバ30は、画像からマーカーの読取処理を行う(S77)。
【0125】
図18は、マーカーの読取処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、配信サーバ30は、配信対象となるユーザの特定制限エリアに関するアクセス権限を読み出してその有無を確認する(S771)。特定制限エリアへのアクセス権限がある場合(例えば、特定制限エリアのアクセスレベルが「2」でユーザーのアクセス権限が「2」の場合)(S771YES)、処理は終了する。
【0126】
一方、特定制限エリアへのアクセス権限がない場合(例えば、特定制限エリアのアクセスレベルが「2」でユーザーのアクセス権限が「1」で権限が不足する場合)(S771NO)、記憶部32に記憶されている学習済モデルを読み出して、全天球画像から歪んだマーカー領域を検出する処理を行う(S772)。すなわち、学習済モデルへと画像を入力することにより、画像中のマーカー領域と、マーカーまでの距離及び方向を出力する。
【0127】
この処理の結果、画像中にマーカー領域が検出されなかった場合(S773NO)、すなわち、画像処理すべき領域がない場合、処理は終了する。一方、画像中にマーカー領域が検出された場合(S773YES)、すなわち、画像中に画像処理すべき領域がある場合、配信サーバ30は、マーカーとして検出された領域のパノラマ変換処理(又は射影変換処理)を行う(S775)。これにより2次元マーカーが読取可能な状態となる。
【0128】
パノラマ変換処理の後、配信サーバ30は、パノラマ変換処理されたマーカー領域のマーカーを読み取る処理を行う(S776)。このマーカーを読み取ることで、マーカーから特定制限エリアまでの距離と方向を取得することができる。
【0129】
その後、配信サーバ30は、情報取得装置10からマーカーまでの距離及び方向と、マーカーから特定制限エリアまでの距離と方向に基づいて、情報取得装置10から特定制限エリアまでの方向と距離を推定する処理を行う(S777)。
【0130】
この推定処理の後、配信サーバ30は、全天球画像における画像処理領域の特定処理を行い(S778)、処理は終了する。
【0131】
図16に戻り、画像処理すべき領域がある場合、配信サーバ30は、当該領域に対して所定の画像処理を行う(S79)。この画像処理は、この画像処理は特定制限エリアに相当する領域に対して視覚的制限処理を加える処理である。例えば、対象領域のマスキング処理やぼかし処理である。なお、このとき、例えば、視覚的制限処理を行いつつ他の処理を追加的に行ってもよい。例えば、視覚的制限処理を行った上で広告画像を表示する処理等を行ってもよい。
【0132】
図19は、特定制限エリアに対してマスキング処理を行った例を示している。同図から明らかな通り、特定制限エリアとして特定の展示物、すなわち、同図の例にあっては、大きな本型のオブジェ(同図左側の図参照)が設定されていた場合、配信サーバ30は、当該領域が視覚的に認識できなくなるよう非透過性の四角形を用いてマスキング処理を行っている(同図右側の図参照)。
【0133】
なお、説明のため同図は射影変換後の状態を示しているものの、本実施形態においては、マスキング処理は全天球画像の段階で行っている点に留意されたい。
【0134】
図16に戻り、画像処理すべき領域がない場合、配信サーバ30は、表示領域情報の読出処理を行う(S80)。これにより、ユーザの希望する表示領域を特定する。
【0135】
表示領域情報の読出処理の後、配信サーバ30は、情報提示装置50へと配信する情報の生成処理を行う。具体的には、全天球画像をパノラマ変換すると共に、表示領域情報に相当する画像部分の情報量を相対的にその他の画像部分より大きくする処理を行う(S81)。
【0136】
具体的には、本実施形態においては、表示領域以外の領域の画像について画像の解像度を下げる処理(例えば、ダウンサンプリング処理)を行う。
【0137】
図20は、表示領域とその他の領域の情報量に関する説明図である。同図中央の長方形の枠線は表示領域を表している。同図から明らかな通り、枠内の画像については高解像度となっているものの、枠外の画像については解像度が相対的に低くなっている。なお、同図にあっては解像度が相対的に低いことが破線で表現されている点に留意されたい。
【0138】
なお、表示領域情報に相当する画像部分の情報量を相対的にその他の画像部分より大きくする処理はこのような処理に限定されない。従って、情報量を低下させる処理として、例えば、フレームレートを低下させたり、低画質化したりしてもよい。また、相対的に表示領域の情報量を高めつつ、その他の領域について情報量を低下させてもよい。さらに、表示領域のみを配信対象としてもよい。
【0139】
このような構成によれば、配信サーバ30から情報提示装置50へと送信する情報量を低下させることができるので、通信量を抑制し、通信遅延を回避することができる。
【0140】
図16に戻り、配信情報の生成処理が完了すると、配信サーバ30は、インターネット等のネットワークを介して、情報提示装置50へと情報を配信する処理を行う(S82)。
【0141】
その後、配信サーバ30は、サーバにおいて配信停止リクエストが検出されるか否かを判定し、停止リクエストが検出されない場合には(S83NO)、再び一連の処理を実行する(S72~S83)。一方、停止リクエストが検出される場合(S83YES)、処理は終了する。
【0142】
このような構成によれば、ユーザのアクセス権限(閲覧権限)に応じて、特定の位置又は領域に存在する物等について選択的に情報提示を行うことができる。これにより、配信者が意識せずとも、情報取得装置10の周囲の環境に配慮した画像等の情報を情報提示装置50へと提供することができる。
【0143】
(2.変形例)
上述の実施形態は例示であり、本発明は様々に変形して実施することができる。
【0144】
本発明を、決済システム等の経済的・金銭的利益の移転手段と結合してもよい。なお、経済的・金銭的利益とは、例えば、金銭・ポイント・暗号通貨等の経済的・金銭的な価値を有するものである。これらをシステムの動作に応じてインターネットを用いた移転手段(例えば、オンライン決済システムなど)により移転させてもよい。
【0145】
図21は、経済的・金銭的利益の移転に関する概念図である。同図において実線の矢印は情報の流れを表し、破線は経済的・金銭的利益を表している。同図から明らかな通り、例えば、情報提示装置50を使用するユーザが情報取得装置10を使用する配信者から情報の提供を受けた場合には、ユーザのアカウントからシステム管理者のアカウントへと利益の移転が行われるような構成としてもよい。また、このとき、配信者のアカウントに配信対価として、その利益の一部が提供されるような構成としてもよい。
【0146】
また、例えば、ユーザがそのアカウントからシステム管理者又はコンテンツホルダーのアカウントへと所定の利益を支払った場合には、制限領域又は特定制限領域に関する視覚的制限処理が解除されるような構成としてもよい。さらに、その場合、制限領域又は特定制限領域に存在するコンテンツの所有者(コンテンツホルダー)のアカウントに対して、所定の利益を提供してもよい。これは、ユーザにそのコンテンツを見せる対価として観念することができる。なお、支払う利益の額に応じて権限が段階的に異なるような設定としてもよい。
【0147】
このように経済的・金銭的利益の移転手段と結びつけることで、システムの利用者に対して様々な配信ビジネスの機会を提供することができる。例えば、ユーザの課金状況に応じて、特定の位置又は領域に存在する物等について選択的にユーザへと情報提示を行ったり、視覚的制限処理を行った位置又は領域に存在する物体の所有者等へと金銭的利益を与えること等ができる。
【0148】
上述の実施形態においては、イベント主催者が事前の設定処理の多くを実行したが、本発明はそのような構成に限定されない。従って、配信者のみで配信システムの事前設定から配信処理までを行う構成としてもよい。
【0149】
上述の実施形態においては、表示領域情報に相当する画像部分以外の部分について情報量を小さくすることにより通信量を低減する処理について説明したが、本発明はそのような構成に限定されない。従って、例えば、情報提示装置50におけるユーザの操作傾向を機械学習した学習済モデルを用いて操作を予測し、当該予測表示領域についても表示領域情報に相当する画像部分と同様の情報量としてもよい。
【0150】
このような構成によれば、情報提示装置50に関するユーザの操作傾向から、次に指定されるであろう画像領域を予測して、迅速に高い情報量の画像を提供することができる。
【0151】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。
【産業上の利用可能性】
【0152】
本発明は、情報配信システム等を生産、使用等する産業等において利用可能である。
【符号の説明】
【0153】
1 インターネット(ネットワーク)
10 情報取得装置
30 配信サーバ
50 情報提示装置
100 情報配信システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21