(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】共有方法
(51)【国際特許分類】
G06T 11/60 20060101AFI20241119BHJP
H04L 65/40 20220101ALI20241119BHJP
【FI】
G06T11/60 100A
H04L65/40
(21)【出願番号】P 2020152203
(22)【出願日】2020-09-10
【審査請求日】2023-08-02
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】前原 誠一
(72)【発明者】
【氏名】栗田 泰智
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】吉岡 啓
【審査官】鈴木 肇
(56)【参考文献】
【文献】国際公開第2017/110645(WO,A1)
【文献】特開2016-224889(JP,A)
【文献】特開2017-016466(JP,A)
【文献】特開2015-135641(JP,A)
【文献】特開2011-034315(JP,A)
【文献】特開2020-098568(JP,A)
【文献】特開2012-043435(JP,A)
【文献】特開平06-096181(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 7/00 - 7/90
G06T 11/60 - 13/80
G06T 17/05
G06T 19/00 - 19/20
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
H04L 13/00 - 13/18
H04L 51/00 - 69/40
(57)【特許請求の範囲】
【請求項1】
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信
し、
前記共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
表示する画像データのうち特定した位置に前記入力情報が存在することを示すアイコンを表示するとともに、特定した位置が所定の条件を満たす場合、前記アイコンとともに前記入力情報を表示する
共有方法。
【請求項2】
表示する画像データにおける範囲の選択を受け付け、画像データのうち受け付けた範囲を切り抜いた範囲画像データを前記位置情報として取得する
請求項1に記載の共有方法。
【請求項3】
前記範囲画像データから特徴量を抽出し、抽出した特徴量を含む前記位置情報を取得する
請求項2に記載の共有方法。
【請求項4】
画像データ内において予め定められた指定画像データを検出することにより、前記位置情報を取得する
請求項1から請求項3までのうちのいずれか1項に記載の共有方法。
【請求項5】
前記位置情報として、画像データの一部を切り抜いた範囲画像データ、または、前記範囲画像データから抽出した特徴量を取得し、
前記範囲画像データから抽出した特徴量に基づいて前記入力情報を表示する位置を特定する
請求項
4に記載の共有方法。
【請求項6】
前記入力情報は、文字情報である
請求項1から請求項
5までのうちのいずれか1項に記載の共有方法。
【請求項7】
表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得する位置情報取得部と、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付ける情報入力受付部と、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する共有用情報送信部と、
前記共有用情報を他の装置から受信する共有用情報受信部と、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定する検索部と、
表示する画像データのうち特定した位置に前記入力情報が存在することを示すアイコンを表示するとともに、特定した位置が所定の条件を満たす場合、前記アイコンとともに前記入力情報を表示する表示制御部と、
を有する
他の装置と画像データの共有を行い、共有する画像データを表示する共有装置。
【請求項8】
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置に、
表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信
し、
前記共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
表示する画像データのうち特定した位置に前記入力情報が存在することを示すアイコンを表示するとともに、特定した位置が所定の条件を満たす場合、前記アイコンとともに前記入力情報を表示する
処理を実現するためのプログラム。
【請求項9】
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報と、前記位置情報により特定される位置に表示する情報である入力情報と、を含む共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
表示する画像データのうち特定した位置に前記入力情報が存在することを示すアイコンを表示するとともに、特定した位置が所定の条件を満たす場合、前記アイコンとともに前記入力情報を表示する
共有方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、共有方法、共有装置、プログラムに関する。
【背景技術】
【0002】
現場で撮像した画像データを本部などと共有するためのシステムが知られている。
【0003】
例えば、特許文献1には、WebRTC(Web Real-Time Communication)に対応したブラウザを記憶する携帯端末と情報処理装置とを有する情報共有システムが記載されている。特許文献1によると、情報処理装置は、携帯端末にWebRTCへのアクセス先情報となるURLが記載されたSMSを送信可能に構成される。また、携帯端末は、SMSを受信してからURLにアクセスすることによって、携帯端末に備わる通話機能及び撮像機能を介して、撮像データを用いて情報処理装置とビデオ通話が可能に構成される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載のようにWebRTCなどを用いてリアルタイムで画像データの共有を行う場合において、画像データ内の所定位置に関する情報を共有しようとする場合がある。このような場合、共有しようとする情報の位置を口頭などで伝えたとしても、的確に位置を共有できない場合があった。つまり、リアルタイムで共有する画像データ内において共有したい情報がある場合に、共有したい情報の位置を的確に指定することができず、的確に画像データ内における情報共有が出来ない場合があった。
【0006】
このように、画像データを共有するシステムにおいて、情報共有を的確に行うことができない場合がある、という課題が生じていた。
【0007】
そこで、画像データを共有するシステムにおいて、情報共有を的確に行うことができない場合がある、という課題を解決する共有方法、共有装置、プログラムを提供することにある。
【課題を解決するための手段】
【0008】
かかる目的を達成するため本開示の一形態である共有方法は、
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する
という構成をとる。
【0009】
また、本開示の他の形態である共有装置は、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得する位置情報取得部と、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付ける情報入力受付部と、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する共有用情報送信部と、
を有する
という構成をとる。
【0010】
また、本開示の他の形態であるプログラムは、
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置に、
表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する
処理を実現するためのプログラムである。
【0011】
また、本開示の他の形態である共有装置は、
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報と、前記位置情報により特定される位置に表示する情報である入力情報と、を含む共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
特定した位置に前記入力情報に応じた表示を行う
という構成をとる。
【発明の効果】
【0012】
上述したような各構成によると、画像データを共有するシステムにおいて、情報共有を的確に行うことが可能となる。
【図面の簡単な説明】
【0013】
【
図1】本開示の第1の実施形態における映像共有システムの全体の構成例を示す図である。
【
図2】
図1で示す現場側処理装置の構成例を示すブロック図である。
【
図4】画像データを表示した際の一例を示す図である。
【
図5】画像データを表示した際の他の一例を示す図である。
【
図6】サーバ装置の構成例を示すブロック図である。
【
図7】本部側処理装置の構成例を示すブロック図である。
【
図8】映像共有システムの動作例を示すフローチャートである。
【
図9】映像共有システムの他の動作例を示すフローチャートである。
【
図10】本開示の第2の実施形態における共有装置のハードウェア構成例を示す図である。
【
図11】本開示の第2の実施形態における共有装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
[第1の実施形態]
本開示の第1の実施形態について、
図1から
図9までを参照して説明する。
図1は、映像共有システム100の全体の構成例を示す図である。
図2は、現場側処理装置300の構成例を示すブロック図である。
図3は、共有用情報の一例を示す図である。
図4、
図5は、画像データを表示した際の一例を示す図である。
図6は、サーバ装置400の構成例を示すブロック図である。
図7は、本部側処理装置500の構成例を示すブロック図である。
図8、
図9は、映像共有システム100の動作例を示すフローチャートである。
【0015】
本開示の第1の実施形態においては、現場で撮像した画像データ(動画)を本部と共有する映像共有システム100について説明する。本実施形態の場合、現場で撮像した画像データ(動画)などが本部へと送信され、現場と本部とで画像データの表示が行われる。後述するように、本実施形態の場合、映像共有システム100は、表示中の画像データ内において、共有したい情報を付与する範囲を選択すると、選択された範囲の範囲画像データを抽出する。そして、映像共有システム100は、抽出した範囲画像データと共有したい情報である入力情報を送信先の装置に対して送信する。また、送信先の装置においては、当該送信先の装置で表示されている画像データ内において、送信元から取得した範囲画像データの特徴量に基づく特徴量検索を行うことで、入力情報を表示する座標の特定を行う。そして、映像共有システム100は、送信先の装置において、表示中の画像データ内の特定した座標に入力情報を表示する。
【0016】
なお、本実施形態において、現場とは、撮像装置200を用いて画像データを取得する位置に応じた箇所のことをいう。また、本部とは、現場側から送信される画像データを受信したり表示したりする箇所のことをいう。例えば、現場と本部とは、地理的に離れていてよい。
【0017】
映像共有システム100は、現場で撮像した画像データ(動画)を本部と共有可能なシステムである。例えば、映像共有システム100は、Web-RTC(Web Real-Time Communication)を使用して画像データの共有を行う。
【0018】
図1は、映像共有システム100の全体の構成例を示している。
図1を参照すると、映像共有システム100は、撮像装置200と現場側処理装置300とサーバ装置400と本部側処理装置500とを有している。本実施形態の場合、撮像装置200と現場側処理装置300とが画像データを取得する現場に配置されており、本部側処理装置500が本部に配置されている。また、
図1で示すように、現場側処理装置300が表示装置310を有しており、本部側処理装置500が本部側表示装置510を有している。
【0019】
図1で示すように、撮像装置200と現場側処理装置300とは、無線などにより互いに通信可能に接続されている。また、現場側処理装置300とサーバ装置400とは、無線または有線などにより互いに通信可能に接続されている。また、サーバ装置400と本部側処理装置500とは、無線または有線などにより互いに通信可能に接続されている。なお、
図1では示していないが、現場側処理装置300と本部側処理装置500とを、互いに通信可能なよう接続してもよい。
【0020】
図1では、映像共有システム100の構成例を示している。しかしながら、映像共有システム100の構成は、
図1で例示する場合に限定されない。例えば、映像共有システム100は、複数の撮像装置200や現場側処理装置300を有することが出来る。つまり、サーバ装置400に対しては、複数の現場側処理装置300から画像データが送信されてよい。また、映像共有システム100は、複数のサーバ装置400を有してもよいし、複数の本部側処理装置500を有してもよい。例えば、サーバ装置400は、複数の本部側処理装置500に対して、画像データを送信してもよい。また、例えば、映像共有システム100は、表示装置310や本部側表示装置510などを有さなくてもよい。この場合などにおいて、現場側処理装置300や本部側処理装置500が有する表示装置に画像データを表示してもよい。
【0021】
また、本実施形態においては、サーバ装置400を介して画像データの共有を行う場合について説明する。しかしながら、本発明は、P2P(Peer to Peer)などサーバ装置400を介さずに画像データの共有を行う場合でも適用可能である。P2Pなどを用いる場合、映像共有システム100は、サーバ装置400を有さなくてよい。
【0022】
撮像装置200は、当該撮像装置200を設置した箇所周辺の時系列の画像データなどを取得する。例えば、撮像装置200は、当該撮像装置200の設置箇所から360度の画像データを撮像可能な360度カメラなどである。撮像装置200は、撮像装置200、または、現場側処理装置300の利用者の視界と同期する画像データを取得するカメラなどであってもよい。また、撮像装置200は、画像データとともに、設置した箇所周辺の音声データなどを取得することが出来る。
【0023】
上述したように、撮像装置200は、現場側処理装置300と通信可能に接続されている。撮像装置200は、取得した画像データなどを現場側処理装置300へと送信する。
【0024】
現場側処理装置300は、撮像装置200が取得した画像データなどを、サーバ装置400を介して本部側処理装置500へと送信する。また、現場側処理装置300は、表示装置310に撮像装置200が取得した画像データを表示する。さらに、現場側処理装置300は、本部側処理装置500から受信した入力情報を画像データとともに表示したり、入力情報の入力を受け付けて後述する共有用情報を本部側処理装置500に対して送信したりすることが出来る。
【0025】
例えば、現場側処理装置300は、スマートフォンやタブレットなどの携帯端末、情報処理装置(共有装置)である。現場側処理装置300は、上記例示した以外であってもよい。また、現場側処理装置300は、撮像装置200や表示装置310などと一体的に構成されていてもよい。例えば、表示装置310などが現場側処理装置300としての機能の少なくとも一部を有していてもよい。
【0026】
図2は、現場側処理装置300の構成例を示している。
図2を参照すると、現場側処理装置300は、例えば、動画取得部321と、動画送信部322と、共有用情報受信部323と、特徴量検索部324と、表示制御部325と、位置情報取得部326と、情報入力受付部327と、共有用情報送信部328と、を有している。また、現場側処理装置300は、表示装置310を有している。
【0027】
例えば、現場側処理装置300は、CPUなどの演算装置と、記憶装置と、を有している。現場側処理装置300は、記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理部を実現することが出来る。
【0028】
表示装置310は、AR(Augmented Reality)ゴーグルやVR(Virtual Reality)ゴーグルなどの利用者に装着される表示装置である。例えば、表示装置310は、ARゴーグルである。表示装置310は、後述する表示制御部325の制御により、撮像装置200が取得した画像データや入力情報の表示などを行うことが出来る。なお、表示装置310における表示例については、後述する。
【0029】
動画取得部321は、撮像装置200から画像データや音声データなどを取得する。動画取得部321が取得した画像データや音声データは、現場側処理装置300が有する記憶装置などに記憶してよい。
【0030】
動画送信部322は、動画取得部321が取得した画像データや音声データなどをサーバ装置400に対して送信する。
【0031】
共有用情報受信部323は、サーバ装置400を介して、本部側処理装置500から共有用情報を受信する。共有用情報受信部323は、取得した共有用情報を現場側処理装置300が有する記憶装置などに記憶してよい。なお、共有用情報受信部323は、本部側処理装置500から直接共有用情報を受信してもよい。
【0032】
図3は、共有用情報の一例を示している。
図3を参照すると、共有用情報には、例えば、位置情報と入力情報とが含まれている。ここで、位置情報は、表示装置310が表示中の画像データなどにおいて、入力情報を表示する位置を特定するための情報である。例えば、位置情報は、後述する本部側処理装置500で表示中の画像データの一部を抽出した範囲画像データや範囲画像データから算出した特徴量などのうちの少なくとも1つである。また、入力情報は、表示装置310などにおいて、位置情報に応じて特定された座標で出力可能な情報を示している。入力情報は、例えば、文字情報、音声情報、画像などのうちの少なくとも1つである。
【0033】
特徴量検索部324は、位置情報に基づいて、表示装置310において表示中の画像データ内の座標を検索する。
【0034】
例えば、特徴量検索部324は、位置情報が示す範囲画像データから局所特徴量を抽出する。例えば、特徴量検索部324は、色情報を用いるなど既知の技術を用いて局所特徴量を抽出してよい。そして、特徴量検索部324は、表示装置310で表示中の画像データにおいて、抽出した局所特徴量を用いた特徴点マッチングを行うことで、表示中の画像データ内において範囲画像データと同様の局所特徴量を有する箇所を特定する。つまり、特徴量検索部324は、表示装置310において表示される画像データに対して、範囲画像データから抽出した局所特徴量を用いた検索を行うことで、共有用情報に含まれる範囲画像データが示す座標を特定する。
【0035】
なお、表示装置310では、時系列の画像データが表示される。特徴量検索部324は、時系列の画像データのうち、nフレームごとの画像データに対して上述した検索を行うよう構成してよい。なお、nは任意の数で構わない。
【0036】
表示制御部325は、動画取得部321が取得した画像データを表示装置310に表示させる。また、表示制御部325は、表示中の画像データのうち特徴量検索部324が検索した座標に、入力情報が存在することを示すアイコンなどを表示させる。
【0037】
図4は、表示制御部325による制御により表示装置310において表示される画像データの一例を示している。
図4で示すように、表示制御部325は、表示装置310において、撮像装置200が取得した画像データを表示させる。また、表示制御部325は、表示装置310において、特徴量検索部324が検索した座標に入力情報が存在することを示すアイコンIを表示させる。例えば、
図4の場合、
図4左側の自転車付近にアイコンIが表示されている。
【0038】
また、表示制御部325は、アイコンIとともに、文字情報などの入力情報Tを表示させることが出来る。表示制御部325は、必ずしも常に入力情報Tを表示させなくてもよい。例えば、表示制御部325は、表示装置310が表示する画像データの中心など予め定められた範囲内にアイコンIが存在するなど所定の条件を満たす場合に、アイコンIとともに、または、アイコンIの代わりに、入力情報Tを表示させてもよい。
【0039】
また、表示制御部325は、後述する位置情報取得部326や情報入力受付部327などによる共有用情報の受付に応じた情報を、表示装置310において表示させることが出来る。
【0040】
例えば、以上のように、表示制御部325は、画像データなどを表示装置310に表示させる。なお、表示制御部325は、撮像装置200が取得する画像データの範囲と現場側処理装置300などの利用者の視界とが連動している場合などにおいて、画像データの表示を行わずに、アイコンIや入力情報Tの表示のみを行ってもよい。
【0041】
位置情報取得部326は、位置情報の入力を受け付ける。例えば、位置情報取得部326は、現場側処理装置300が有するタッチパネルなどの操作入力部に対する操作に応じて、表示装置310において表示される画像データ中におけるピクセル範囲の選択を受け付ける。すると、位置情報取得部326は、画像データのうち受け付けたピクセル範囲を切り抜いた範囲画像データを、位置情報として取得する。このように、位置情報取得部326は、画像データ中におけるピクセル範囲の選択・指定を受け付けることで、受け付けた範囲の範囲画像データを位置情報として抽出する。
【0042】
なお、位置情報取得部326は、抽出した範囲画像データの局所特徴量を抽出することにより、局所特徴量を位置情報として取得してもよい。つまり、位置情報取得部326が取得する位置情報には、局所特徴量が含まれていてもよいし、範囲画像データが含まれていなくてもよい。また、位置情報取得部326による範囲画像データの取得に応じて、取得した範囲画像データに対応する座標にアイコンIなどを表示してもよい。例えば、nフレームごとに特徴量検索部324を用いた特徴量検索を行うことで、nフレームごとに座標を特定し、表示制御部325が特定した座標にアイコンIを表示させるよう構成してもよい。
【0043】
また、位置情報取得部326は、画像データ内に予め定められた指定画像データが映りこんだことなどに応じて、予め準備された指定画像データや切り抜いた範囲画像データなどの位置情報を取得することが出来る。例えば、現場において、予め定められた看板などの設置物(現場に一意なもの)を設置すると、
図5で示すように、撮像装置200が取得する画像データに設置物Bが映りこむ。位置情報取得部326は、撮像装置200が取得する画像データ(または、表示装置310が表示する画像データ)に設置物Bが映りこんだことを検出した際に、位置情報の取得を行うよう構成してよい。なお、位置情報取得部326は、例えば、表示装置310に表示する画像データにおいて設置物Bの画像データである指定画像データから抽出した特徴量を用いたマッチングなどを行うなど、既知の方法により、上記検出を行ってよい。また、看板には、例えば、QRコード(登録商標)などが印刷されていてもよい。この場合、QRコード(登録商標)などを用いた入力情報の入力や表示が行われてもよい。
【0044】
情報入力受付部327は、位置情報取得部326が取得した位置情報に対応する入力情報の入力を受け付ける。例えば、情報入力受付部327は、位置情報取得部326による位置情報の抽出が行われた、位置情報の抽出に応じて表示するアイコンIを操作入力部などにより選択する、などの所定の開始トリガーに応じて、入力情報の入力受付を開始する。例えば、情報入力受付部327は、操作入力部に対する操作、または、音声入力などにより、入力情報を受け付けることが出来る。
【0045】
なお、表示制御部325は、アイコンIとともに、情報入力受付部327が入力を受け付けた入力情報Tを表示してもよい。表示制御部325は、上述した場合と同様に、所定の条件を満たす場合のみ、アイコンIとともに、または、アイコンIの代わりに、入力情報Tを表示させてもよい。
【0046】
共有用情報送信部328は、位置情報取得部326が取得した位置情報と、情報入力受付部327が受け付けた入力情報と、を対応付けて、共有用情報として、本部側処理装置500に送信する。例えば、共有用情報送信部328は、サーバ装置400を介して、共有用情報を本部側処理装置500へと送信する。
【0047】
なお、共有用情報送信部328が送信する共有用情報も、現場側処理装置300が有する記憶装置などに記憶してよい。
【0048】
サーバ装置400は、現場側処理装置300から受信した画像データなどを本部側処理装置500に対して送信する。サーバ装置400は、例えば、受信した画像データなどに対する合成処理などを行わずに送信するSFU(Selective Forwarding Unit )などのサーバである。サーバ装置400は、MCU(Multipoint Control Unit)などであってもよい。
【0049】
図6は、サーバ装置400の構成例を示している。
図6を参照すると、サーバ装置400は、データ取得部411とデータ送信部412とを有している。例えば、サーバ装置400は、CPUなどの演算装置と、記憶装置と、を有している。サーバ装置400は、記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理部を実現することが出来る。
【0050】
データ取得部411は、現場側処理装置300から、画像データ、音声データ、共有用情報などの各種データを取得する。また、データ取得部411は、本部側処理装置500から、共有用情報などを取得する。
【0051】
データ送信部412は、本部側処理装置500や現場側処理装置300に対するデータの送信を行う。例えば、データ送信部412は、本部側処理装置500に対して、現場側処理装置300から取得した画像データ、音声データ、共有用情報などを送信する。また、データ送信部412は、現場側処理装置300に対して、本部側処理装置500から取得した共有用情報などを送信する。
【0052】
なお、データ送信部412は、上記例示した以外のデータを本部側処理装置500や現場側処理装置300に対して送信してもよい。
【0053】
本部側処理装置500は、サーバ装置400を介して受信した画像データを表示する。本部側処理装置500は、また、共有用情報の受付を行うことが出来る。
【0054】
例えば、本部側処理装置500は、タブレットやパーソナルコンピュータなどの情報処理装置(共有装置)である。本部側処理装置500は、上記例示した以外であってもよい。また、本部側処理装置500は、本部側表示装置510などと一体的に構成されてもよい。例えば、本部側表示装置510などが本部側処理装置500としての機能の少なくとも一部を有していてもよい。
【0055】
図7は、本部側処理装置500の構成例を示している。
図7を参照すると、本部側処理装置500は、主な構成要素として、例えば、本部側表示装置510と、操作入力部320と、画面表示部330と、通信I/F部340と、記憶部350と、演算処理部360と、を有している。
【0056】
本部側表示装置510は、ARゴーグルやVRゴーグルなどの利用者に装着される表示装置である。例えば、本部側表示装置510は、VRゴーグルである。本部側表示装置510は、後述する表示制御部564の制御により、サーバ装置400を介して取得した画像データや入力情報の表示などを行うことが出来る。本部側表示装置510では、
図4、5で例示した、表示装置310と同様の表示を行うことが出来る。
【0057】
操作入力部520は、キーボードやマウスなどの操作入力装置からなる。操作入力部520は、本部側処理装置500を操作する利用者の操作を検出して演算処理部560に出力する。
【0058】
画面表示部530は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部530は、演算処理部560からの指示に応じて、記憶部550に格納された各種情報などを画面表示することが出来る。なお、画面表示部530は、本部側表示装置510と同一のものであってもよい。つまり、本部側処理装置500は、画面表示部530を有さなくてもよい。
【0059】
通信I/F部540は、データ通信回路からなる。通信I/F部540は、サーバ装置400やそのほか外部装置などとの間でデータ通信を行う。
【0060】
記憶部550は、ハードディスクやメモリなどの記憶装置である。記憶部550は、演算処理部560における各種処理に必要な処理情報やプログラム553を記憶する。プログラム553は、演算処理部560に読み込まれて実行されることにより各種処理部を実現する。プログラム553は、通信I/F部540などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部550に保存されている。記憶部550で記憶される主な情報としては、例えば、動画情報551、共有用情報552などがある。
【0061】
動画情報551には、サーバ装置400から取得した画像データや音声データなどが含まれる。例えば、動画情報551には、時系列の画像データや音声データなどが含まれる。
【0062】
共有用情報552には、サーバ装置400から取得した共有用情報が含まれる。
図3を参照して説明したように、共有用情報には、位置情報と入力情報とが含まれている。
【0063】
演算処理部560は、CPUなどの演算装置とその周辺回路を有する。演算処理部560は、記憶部550からプログラム553を読み込んで実行することにより、上記ハードウェアとプログラム553とを協働させて各種処理部を実現する。演算処理部560で実現される主な処理部としては、例えば、動画取得部561、共有用情報受信部562、特徴量検索部563、表示制御部564、位置情報取得部565、情報入力受付部566、共有用情報送信部567などがある。
【0064】
動画取得部561は、サーバ装置400から画像データや音声データなどを取得する。すると、動画取得部561は、取得した画像データや音声データを動画情報551として記憶部550に記憶する。
【0065】
共有用情報受信部562は、サーバ装置400を介して、現場側処理装置300から共有用情報を受信する。すると、共有用情報受信部562は、取得した共有用情報を共有用情報552として記憶部550に記憶する。なお、共有用情報受信部562は、現場側処理装置300から直接共有用情報を受信してもよい。
【0066】
特徴量検索部563は、位置情報に基づいて、本部側表示装置510において表示中の画像データ内の座標を検索する。特徴量検索部563は、上述した特徴量検索部324と同様の処理により、本部側表示装置510において表示中の画像データ内の座標を検索・特定してよい。
【0067】
表示制御部564は、動画取得部561が取得した画像データを本部側表示装置510に表示させる。また、表示制御部564は、表示中の画像データのうち特徴量検索部563が検索した座標に入力情報が存在することを示すアイコンIを表示したり、入力情報Tを表示したりすることが出来る。表示制御部564の処理も、上述した表示制御部325と同様であってよい。
【0068】
位置情報取得部565は、位置情報の入力を受け付ける。例えば、位置情報取得部565は、操作入力部520に対する操作に応じて、本部側表示装置510において表示される画像データ中におけるピクセル範囲の選択を受け付ける。すると、位置情報取得部565は、受け付けたピクセル範囲の範囲画像データを、位置情報として取得する。
【0069】
なお、位置情報取得部565は、位置情報取得部326と同様に、抽出した範囲画像データの局所特徴量を抽出することにより、局所特徴量を位置情報として取得してもよい。また、位置情報取得部565による範囲画像データの取得に応じて、取得した範囲画像データに対応する座標にアイコンIなどを表示してもよい。
【0070】
情報入力受付部566は、位置情報取得部565が抽出した位置情報に対応する入力情報の入力を受け付ける。例えば、情報入力受付部566は、位置情報取得部565による位置情報の抽出が行われた、位置情報の抽出に応じて表示するアイコンIを操作入力部520などにより選択する、などの所定の開始トリガーに応じて、入力情報の入力受付を開始する。例えば、情報入力受付部566は、操作入力部520に対する操作、または、音声入力などにより、入力情報を受け付けることが出来る。
【0071】
なお、現場側処理装置300の場合と同様に、表示制御部564は、アイコンIとともに、情報入力受付部566が入力を受け付けた入力情報Tを表示してもよい。表示制御部564は、上述した場合と同様に、所定の条件を満たす場合のみ、アイコンIとともに、または、アイコンIの代わりに、入力情報Tを表示させてもよい。
【0072】
共有用情報送信部567は、位置情報取得部565が取得した位置情報と、情報入力受付部566が受け付けた入力情報と、を対応付けて、共有用情報として、現場側処理装置300に送信する。例えば、共有用情報送信部567は、サーバ装置400を介して、共有用情報を現場側処理装置300へと送信する。なお、共有用情報送信部567が送信する共有用情報は、共有用情報552として記憶部550に記憶されてよい。
【0073】
以上が、映像共有システム100の構成例である。続いて、
図8、
図9を参照して、映像共有システム100の動作例について説明する。なお、
図8、
図9では、映像共有システム100の動作例を示している。映像共有システム100の動作は、
図8、
図9で例示する場合に限定されない。
【0074】
図8は、本部側処理装置500から現場側処理装置300へと共有用情報を送信する場合の動作例を示している。
図8を参照すると、現場側処理装置300は、サーバ装置400を介して、本部側処理装置500へと画像データなどを送信する。つまり、現場側処理装置300は本部側処理装置500へと動画を配信する(ステップS101)。ステップS101の処理は、以降、配信を停止するまで続けられる。
【0075】
位置情報取得部565は、位置情報の入力を受け付ける。例えば、位置情報取得部565は、操作入力部520に対する操作に応じて、本部側表示装置510において表示される画像データ中におけるピクセル範囲の選択を受け付ける。すると、位置情報取得部565は、受け付けたピクセル範囲の範囲画像データを、位置情報として抽出する(ステップS201)。
【0076】
特徴量検索部563は、位置情報取得部565が取得した位置情報に基づいて、本部側表示装置510において表示中の画像データ内の座標を検索・特定する(ステップS202)。また、表示制御部564は、特徴量検索部563が検索・特定した座標にアイコンIを表示させる(ステップS203)。なお、ステップS202の処理、または、ステップS202とステップS203の処理は、省略してもよい。
【0077】
情報入力受付部566は、位置情報取得部565が抽出した位置情報に対応する入力情報の入力を受け付ける(ステップS204)。例えば、情報入力受付部566は、操作入力部520に対する操作、または、音声入力などにより、入力情報を受け付けることが出来る。
【0078】
共有用情報送信部567は、位置情報取得部565が取得した位置情報と、情報入力受付部566が受け付けた入力情報と、を対応付けて、共有用情報として、現場側処理装置300に送信する(ステップS205)。
【0079】
共有用情報受信部323は、サーバ装置400を介して、本部側処理装置500から共有用情報を受信する。すると、特徴量検索部324は、位置情報に基づいて、表示装置310において表示中の画像データ内の座標を検索する(ステップS102)。
【0080】
表示制御部325は、表示中の画像データのうち特徴量検索部324が検索した座標に、入力情報が存在することを示すアイコンなどを表示させる(ステップS103)。また、表示制御部325は、所定の条件を満たす場合(ステップS104、Yes)、アイコンとともに、または、アイコンの代わりに、入力情報を表示させる(ステップS105)。なお、表示制御部325は、常にアイコンと入力情報とを表示させてもよい。
【0081】
以上が、本部側処理装置500から現場側処理装置300へと共有用情報を送信する場合の動作例である。続いて、
図9を参照して、現場側処理装置300から本部側処理装置500へと共有用情報を送信する場合の動作例について説明する。
【0082】
図9は、現場側処理装置300から本部側処理装置500へと共有用情報を送信する場合の動作例を示している。
図9を参照すると、現場側処理装置300は、サーバ装置400を介して、本部側処理装置500へと画像データなどを送信する。つまり、現場側処理装置300は本部側処理装置500へと動画を配信する(ステップS101)。ステップS101の処理は、以降、配信を停止するまで続けられる。
【0083】
位置情報取得部326は、位置情報の入力を受け付ける。例えば、位置情報取得部326は、表示する画像データに設置物Bなどの指定画像データが映りこんだことを検出した際に、位置情報として指定画像データを取得する(ステップS301)。なお、位置情報取得部326は、表示される画像データ中におけるピクセル範囲の選択を受け付けることに応じて、範囲画像データを位置情報として抽出してもよい。
【0084】
情報入力受付部327は、位置情報取得部326が抽出した位置情報に対応する入力情報の入力を受け付ける(ステップS302)。例えば、情報入力受付部327は、操作入力部に対する操作、または、音声入力などにより、入力情報を受け付けることが出来る。
【0085】
共有用情報送信部328は、位置情報取得部326が取得した位置情報と、情報入力受付部327が受け付けた入力情報と、を対応付けて、共有用情報として、本部側処理装置500に送信する(ステップS303)。
【0086】
共有用情報受信部562は、サーバ装置400を介して、現場側処理装置300から共有用情報を受信する。すると、特徴量検索部563は、位置情報に基づいて、本部側表示装置510において表示中の画像データ内の座標を検索する(ステップS401)。
【0087】
表示制御部564は、表示中の画像データのうち特徴量検索部563が検索した座標に、入力情報が存在することを示すアイコンなどを表示させる(ステップS402)。また、表示制御部564は、所定の条件を満たす場合(ステップS403、Yes)、アイコンとともに、または、アイコンの代わりに、入力情報を表示させる(ステップS404)。なお、表示制御部564は、常にアイコンと入力情報とを表示させてもよい。
【0088】
以上が、映像共有システム100の動作例である。
【0089】
このように、映像共有システム100の現場側処理装置300は、位置情報取得部326と情報入力受付部327と共有用情報送信部328とを有している。このような構成により、共有用情報送信部328は、位置情報取得部326が取得した位置情報と、情報入力受付部327が受け付けた入力情報と、を対応付けて、共有用情報として、本部側処理装置500に送信することが出来る。その結果、本部側処理装置500では、リアルタイムで画像データを共有している場合などにおいて、位置情報が示す位置に入力情報を表示することが可能となる。これにより、画像データを共有するシステムにおいて、情報共有を的確に行うことが可能となる。
【0090】
また、同様に、映像共有システム100の本部側処理装置500は、位置情報取得部565と情報入力受付部566と共有用情報送信部567とを有している。このような構成の結果、上述した場合と同様に、現場側処理装置300では、リアルタイムで画像データを共有している場合などにおいて、位置情報が示す位置に入力情報を表示することが可能となる。これにより、画像データを共有するシステムにおいて、情報共有を的確に行うことが可能となる。
【0091】
[第2の実施形態]
次に、
図10、
図11を参照して、本開示の第2の実施形態について説明する。第2の実施形態では、他の装置と画像データの共有を行い、共有する画像データを表示する共有装置600の構成の概要について説明する。
【0092】
図10は、共有装置600のハードウェア構成例を示している。
図10を参照すると、共有装置600は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)601(演算装置)
・ROM(Read Only Memory)602(記憶装置)
・RAM(Random Access Memory)603(記憶装置)
・RAM603にロードされるプログラム群604
・プログラム群604を格納する記憶装置605
・情報処理装置外部の記録媒体610の読み書きを行うドライブ装置606
・情報処理装置外部の通信ネットワーク611と接続する通信インタフェース607
・データの入出力を行う入出力インタフェース608
・各構成要素を接続するバス609
【0093】
また、共有装置600は、プログラム群604をCPU601が取得して当該CPU601が実行することで、
図11に示す位置情報取得部621、情報入力受付部622、共有用情報送信部623としての機能を実現することが出来る。なお、プログラム群604は、例えば、予め記憶装置605やROM602に格納されており、必要に応じてCPU601がRAM603などにロードして実行する。また、プログラム群604は、通信ネットワーク611を介してCPU601に供給されてもよいし、予め記録媒体610に格納されており、ドライブ装置606が該プログラムを読み出してCPU601に供給してもよい。
【0094】
なお、
図10は、共有装置600のハードウェア構成例を示している。共有装置600のハードウェア構成は上述した場合に限定されない。例えば、共有装置600は、ドライブ装置606を有さないなど、上述した構成の一部から構成されてもよい。
【0095】
位置情報取得部621は、表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得する。
【0096】
情報入力受付部622は、位置情報により特定される位置に表示する情報である入力情報の入力を受け付ける。
【0097】
共有用情報送信部623は、位置情報と入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する。
【0098】
このように、共有装置600は、位置情報取得部621と情報入力受付部622と共有用情報送信部623とを有している。このような構成により、共有用情報送信部623は、位置情報取得部621が取得した位置情報と、情報入力受付部622が受け付けた入力情報と、を対応付けて、共有用情報として、画像の共有を行う他の装置に送信することが出来る。その結果、他の装置において、位置情報が示す位置に入力情報を表示することが可能となる。これにより、画像データを共有する装置において、情報共有を的確に行うことが可能となる。
【0099】
なお、上述した共有装置600は、当該共有装置600に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、他の装置と画像データの共有を行い、共有する画像データを表示する共有装置600などの情報処理装置に、表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、位置情報と入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する、処理を実現するためのプログラムである。
【0100】
また、上述した共有装置600により実現される共有方法は、他の装置と画像データの共有を行い、共有する画像データを表示する共有装置600などの情報処理装置に、表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、位置情報と入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する、という方法である。
【0101】
上述した構成を有する、プログラム(または記録媒体)、または、共有方法、の発明であっても、上記共有装置600と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【0102】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における共有方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0103】
(付記1)
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する
共有方法。
(付記2)
表示する画像データにおける範囲の選択を受け付け、画像データのうち受け付けた範囲を切り抜いた範囲画像データを前記位置情報として取得する
付記1に記載の共有方法。
(付記3)
前記範囲画像データから特徴量を抽出し、抽出した特徴量を含む前記位置情報を取得する
付記2に記載の共有方法。
(付記4)
画像データ内において予め定められた指定画像データを検出することにより、前記位置情報を取得する
付記1から付記3までのうちのいずれか1項に記載の共有方法。
(付記5)
前記共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
特定した位置に前記入力情報に応じた表示を行う
付記1から付記4までのうちのいずれか1項に記載の共有方法。
(付記6)
前記位置情報として、画像データの一部を切り抜いた範囲画像データ、または、前記範囲画像データから抽出した特徴量を取得し、
前記範囲画像データから抽出した特徴量に基づいて前記入力情報を表示する位置を特定する
付記5に記載の共有方法。
(付記7)
前記入力情報は、文字情報である
付記1から付記6までのうちのいずれか1項に記載の共有方法。
(付記8)
表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得する位置情報取得部と、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付ける情報入力受付部と、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する共有用情報送信部と、
を有する
他の装置と画像データの共有を行い、共有する画像データを表示する共有装置。
(付記9)
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置に、
表示中の画像データにおいて情報を表示する位置を特定するための情報である位置情報を取得し、
前記位置情報により特定される位置に表示する情報である入力情報の入力を受け付け、
前記位置情報と前記入力情報とを含む共有用情報を、画像データの共有を行う他の装置に対して送信する
処理を実現するためのプログラム。
(付記10)
他の装置と画像データの共有を行い、共有する画像データを表示する情報処理装置が、
表示する画像データにおいて情報を表示する位置を特定するための情報である位置情報と、前記位置情報により特定される位置に表示する情報である入力情報と、を含む共有用情報を他の装置から受信し、
受信した前記共有用情報に含まれる前記位置情報に基づいて、表示する画像データにおいて前記入力情報を表示する位置を特定し、
特定した位置に前記入力情報に応じた表示を行う
共有方法。
【0104】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0105】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【0106】
100 映像共有システム
200 撮像装置
300 現場側処理装置
310 表示装置
321 動画取得部
322 動画送信部
323 共有用情報受信部
324 特徴量検索部
325 表示制御部
326 位置情報取得部
327 情報入力受付部
328 共有用情報送信部
400 サーバ装置
411 データ取得部
412 データ送信部
500 本部側処理装置
510 本部側表示装置
520 操作入力部
530 画面表示部
540 通信I/F部
550 記憶部
551 動画情報
552 共有用情報
553 プログラム
560 演算処理部
561 動画取得部
562 共有用情報受信部
563 特徴量検索部
564 表示制御部
565 位置情報取得部
566 情報入力受付部
567 共有用情報送信部
600 共有装置
601 CPU
602 ROM
603 RAM
604 プログラム群
605 記憶装置
606 ドライブ装置
607 通信インタフェース
608 入出力インタフェース
609 バス
610 記録媒体
611 通信ネットワーク
621 位置情報取得部
622 情報入力受付部
623 共有用情報送信部