特許第6448866号(P6448866)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社オプティムの特許一覧

特許6448866画像取得システム、画像取得方法及びプログラム
<>
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000002
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000003
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000004
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000005
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000006
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000007
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000008
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000009
  • 特許6448866-画像取得システム、画像取得方法及びプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6448866
(24)【登録日】2018年12月14日
(45)【発行日】2019年1月9日
(54)【発明の名称】画像取得システム、画像取得方法及びプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181220BHJP
   H04N 5/225 20060101ALI20181220BHJP
   H04N 7/18 20060101ALI20181220BHJP
【FI】
   H04N5/232 060
   H04N5/232 190
   H04N5/232 933
   H04N5/225 000
   H04N5/232 290
   H04N5/232 300
   H04N7/18 U
【請求項の数】9
【全頁数】18
(21)【出願番号】特願2018-530259(P2018-530259)
(86)(22)【出願日】2016年7月27日
(86)【国際出願番号】JP2016072025
(87)【国際公開番号】WO2018020611
(87)【国際公開日】20180201
【審査請求日】2018年9月25日
【早期審査対象出願】
(73)【特許権者】
【識別番号】500521522
【氏名又は名称】株式会社オプティム
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】菅谷 俊二
【審査官】 ▲徳▼田 賢二
(56)【参考文献】
【文献】 特開2001−103462(JP,A)
【文献】 特開2001−145097(JP,A)
【文献】 特開2005−57416(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
H04N 5/225
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
ユーザ端末と、前記ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置とを備え、
前記ネットワーク型の撮像装置は、
前記ユーザ端末から、前記撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知する取得要求通知手段と、
前記通知した取得要求に対する前記第三者の許諾を受け付ける許諾受付手段と、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するアラート通知手段と、
前記アラートを通知した後、前記画像を取得する画像取得手段と、
前記許諾を受け付けた場合は、前記画像取得手段によって取得された画像を前記ユーザ端末に送信し、前記一定時間前記許諾を受け付けなかった場合は、前記画像取得手段によって取得された画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を前記ユーザ端末に送信する送信手段と、
を有することを特徴とする画像取得システム。
【請求項2】
前記取得する画像の領域を指定する指定手段と、
を備え、
前記画像取得手段は、前記指定した領域の画像を取得する、
ことを特徴とする請求項1に記載の画像取得システム。
【請求項3】
前記画像を取得するとき、所定時間間隔で音声を通知する音声通知手段と、
を備えることを特徴とする請求項1に記載の画像取得システム。
【請求項4】
前記取得した画像を画像解析する画像解析手段と、
を備え、
前記音声通知手段は、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する、
ことを特徴とする請求項3に記載の画像取得システム。
【請求項5】
画像取得システムが実行する画像取得方法であって、
ユーザ端末から、前記ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知するステップと、
前記通知した取得要求に対する前記第三者の許諾を受け付けるステップと、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップと、
前記アラートを通知した後、前記画像を取得するステップと、
前記許諾を受け付けた場合は、取得した前記画像を前記ユーザ端末に送信し、前記一定時間前記許諾を受け付けなかった場合は、取得した前記画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を前記ユーザ端末に送信するステップと、
を備えることを特徴とする画像取得方法。
【請求項6】
ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置に、
前記ユーザ端末から、前記撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知するステップ、
前記通知した取得要求に対する前記第三者の許諾を受け付けるステップ、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップ、
前記アラートを通知した後、前記画像を取得するステップ、
前記許諾を受け付けた場合は、取得した前記画像を前記ユーザ端末に送信し、前記一定時間前記許諾を受け付けなかった場合は、取得した前記画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を前記ユーザ端末に送信するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項7】
ユーザ端末と、前記ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置とを備え、
前記ネットワーク型の撮像装置は、
前記ユーザ端末から、前記撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知する取得要求通知手段と、
前記通知した取得要求に対する前記第三者の許諾を受け付ける許諾受付手段と、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラート
を通知するアラート通知手段と、
前記アラートを通知した後、前記画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を前記ユーザ端末に送信する送信手段と、
を有し、
前記ユーザ端末は、前記許諾が受け付けられた場合は、前記送信手段によって送信された画像を表示し、一定時間前記許諾が受け付けられなかった場合は、前記送信手段によって送信された画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を表示する表示手段を有する、
ことを特徴とする画像取得システム。
【請求項8】
画像取得システムが実行する画像取得方法であって、
ユーザ端末から、前記ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知するステップと、
前記通知した取得要求に対する前記第三者の許諾を受け付けるステップと、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップと、
前記アラートを通知した後、前記画像を取得するステップと、
取得した前記画像を前記撮像装置から前記ユーザ端末に送信するステップと、
前記許諾が受け付けられた場合、前記ユーザ端末は、前記撮像装置から送信された画像を表示し、前記一定時間前記許諾が受け付けられなかった場合、前記ユーザ端末は、前記撮像装置から送信された画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を表示するステップと、
を備えることを特徴とする画像取得方法。
【請求項9】
ユーザ端末と公衆回線網を介して接続され、前記ユーザ端末とは異なる第三者を撮像し得る場所に配置されたネットワーク型の撮像装置に、
前記ユーザ端末から、前記撮像装置が撮像する画像の取得要求がなされたことを、前記撮像装置の撮像範囲内にいる第三者に通知するステップ、
前記通知した取得要求に対する前記第三者の許諾を受け付けるステップ、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップ、
前記アラートを通知した後、前記画像を取得するステップ、
取得した前記画像を前記撮像装置から前記ユーザ端末に送信するステップ、
を実行させ、
前記ユーザ端末に、
前記許諾が受け付けられた場合、前記撮像装置から送信された画像を表示し、前記一定時間前記許諾が受け付けられなかった場合、前記撮像装置から送信された画像から認識される人物について、当該人物を識別できないように画像処理し、当該画像処理した被処理画像を表示するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラにより撮像した画像を取得する画像取得システム、画像取得方法及びプログラムに関する。
【背景技術】
【0002】
近年、ネットワークカメラ等の撮像装置により撮像した画像を、ユーザ端末により取得し、取得した画像をユーザ端末に表示する画像取得システムが開示されている。このような画像取得システムにおいて、ユーザは自身が所望する撮像装置を指定することにより、指定した撮像装置が撮像する画像を取得することが可能となる。
【0003】
このような画像取得システムにおいて、撮像装置により撮像した画像を、管理用端末に転送することにより、画像を取得する構成が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−345208号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の構成では、撮像装置が人物を撮像する場合、撮像対象となる人物は、自身の意思とは無関係に画像を撮像されるとともに、端末上に表示されてしまうという問題があった。
【0006】
本発明は、人物を撮像するとき、この人物に撮像意思を確認することが可能な画像取得システム、画像取得方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明では、以下のような解決手段を提供する。
【0008】
第1の特徴に係る発明は、カメラが撮像する画像の取得要求を通知する取得要求通知手段と、
前記通知した取得要求に対する許諾を受け付ける許諾受付手段と、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するアラート通知手段と、
前記アラートを通知した後、前記画像を取得する画像取得手段と、
を備えることを特徴とする画像取得システムを提供する。
【0009】
第1の特徴に係る発明によれば、カメラが撮像する画像の取得要求を通知し、前記通知した取得要求に対する許諾を受け付け、前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知し、前記アラートを通知した後、前記画像を取得する。
【0010】
第1の特徴に係る発明は、画像取得システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
【0011】
第2の特徴に係る発明は、前記取得する画像の領域を指定する指定手段と、
を備え、
前記画像取得手段が、前記指定した領域の画像を取得する、
ことを特徴とする第1の特徴に係る発明である画像取得システムを提供する。
【0012】
第2の特徴に係る発明によれば、第1の特徴に係る発明である画像取得システムは、前記取得する画像の領域を指定し、前記指定した領域の画像を取得する。
【0013】
第3の特徴に係る発明は、前記画像を取得するとき、所定時間間隔で音声を通知する音声通知手段と、
を備えることを特徴とする第1の特徴に係る発明である画像取得システムを提供する。
【0014】
第3の特徴に係る発明によれば、第1の特徴に係る発明である画像取得システムは、前記画像を取得するとき、所定時間間隔で音声を通知する。
【0015】
第4の特徴に係る発明は、前記取得した画像を画像解析する画像解析手段と、
を備え、
前記音声通知手段が、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する、
ことを特徴とする第3の特徴に係る発明である記載の画像取得システムを提供する。
【0016】
第4の特徴に係る発明によれば、第3の特徴に係る発明である画像取得システムは、前記取得した画像を画像解析し、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する。
【0017】
第5の特徴に係る発明は、カメラが撮像する画像の取得要求を通知するステップと、
前記通知した取得要求に対する許諾を受け付けるステップと、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップと、
前記アラートを通知した後、前記画像を取得するステップと、
を備えることを特徴とする画像取得方法を提供する。
【0018】
第6の特徴に係る発明は、画像取得システムに、
カメラが撮像する画像の取得要求を通知するステップ、
前記通知した取得要求に対する許諾を受け付けるステップ、
前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップ、
前記アラートを通知した後、前記画像を取得するステップ、
を実行させるためのプログラムを提供する。
【発明の効果】
【0019】
本発明によれば、人物を撮像するとき、この人物に撮像意思を確認することが可能な画像取得システム、画像取得方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0020】
図1図1は、画像取得システム1の概要を示す図である。
図2図2は、画像取得システム1の全体構成図である。
図3図3は、ユーザ端末100、カメラ200の機能ブロック図である。
図4図4は、ユーザ端末100、カメラ200が実行する画像取得処理を示すフローチャートである。
図5図5は、ユーザ端末100、カメラ200が実行する画像取得処理を示すフローチャートである。
図6図6は、カメラ200が実行する通知処理を示すフローチャートである。
図7図7は、カメラ200が実行する通知内容変更処理を示すフローチャートである。
図8図8は、ユーザ端末100が領域の指定を受け付けた状態の一例を示す図である。
図9図9は、ユーザ端末100が表示する指定領域画像の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【0022】
[画像取得システム1の概要]
本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である画像取得システム1の概要を説明するための図である。画像取得システム1は、ユーザ端末100、カメラ200から構成される。ユーザ端末100、カメラ200の数は、1つに限らず複数であってもよい。また、後述する各処理は、ユーザ端末100、カメラ200のいずれか又は双方により実現されてもよい。
【0023】
ユーザ端末100は、カメラ200とデータ通信可能な、ユーザが所持する端末装置である。ユーザ端末100は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
【0024】
カメラ200は、ユーザ端末100とデータ通信可能な、ネットワークカメラ等の撮像装置であり、動画や静止画等の画像を撮像する。
【0025】
なお、以下の説明において、ユーザ端末100の所持者をユーザA、カメラ200が撮像する人物を人物Bとして説明する。
【0026】
はじめに、ユーザ端末100は、カメラ200が撮像する画像を取得する取得要求をカメラ200に送信する(ステップS01)。ユーザ端末100は、例えば、ユーザが所望する画像を撮像するカメラ200を選択し、このカメラ200に取得要求を送信する。
【0027】
カメラ200は、取得要求を受信し、この取得要求を、カメラ200が撮像する人物に対して通知する(ステップS02)。カメラ200は、ユーザ端末100が画像を取得しようとしている旨を通知する。例えば、カメラ200は、スピーカ等から「撮像した画像をユーザAに送信していいですか?」と音声により通知する。なお、カメラ200は、音声以外の構成により撮像する人物に対して、ユーザ端末100が画像を取得しようとしている旨を通知してもよい。
【0028】
カメラ200は、取得要求に対する許諾を受け付ける(ステップS03)。カメラ200は、例えば、撮像する人物からの音声やジェスチャー等により許諾を受け付ける。具体的には、カメラ200は、撮像する人物から、一般的に許諾と認識可能な音声やジェスチャー等を受け付けることにより、許諾を受け付ける。なお、カメラ200は、音声やジェスチャー以外の構成、例えば、スイッチによる入力やセンサによる検出等により許諾を受け付けてもよい。また、予め許諾と認識する音声やジェスチャーを記憶しておき、この記憶した音声やジェスチャーを受け付けた場合、許諾を受け付けてもよい。また、この他の構成であってもよい。
【0029】
カメラ200は、許諾を受け付けた場合又は一定時間許諾を受け付けなかった場合、アラートを通知する(ステップS04)。カメラ200は、例えば、音声出力によりアラートを通知する。具体的には、カメラ200は、「撮像する画像を、ユーザAに送信します」と音声出力することにより、撮像する人物にアラートを通知する。すなわち、カメラ200は、撮像する人物Bに対して、画像を撮像する点及び撮像した画像を他の人物に送信する点を通知する。なお、カメラ200は、音声以外の構成、例えば、光、文字、画像等によりアラートを通知してもよい。
【0030】
カメラ200は、アラートを通知した後、画像を撮像し、撮像した画像の画像データを、ユーザ端末100に送信する(ステップS05)。なお、カメラ200は、画像データをユーザ端末100に送信している間、所定時間間隔で撮像する人物に対して、アラートを通知する構成であってもよい。例えば、カメラ200は、「現在、撮像する画像をユーザAに送信しています」と所定時間間隔で音声出力して通知する。すなわち、カメラ200は、撮像する人物Bに対して、画像を撮像中である点及び撮像中の画像を他の人物に送信している点を通知する。また、このとき、カメラ200は、音声以外の構成、例えば、光、文字、画像等によりアラートを通知してもよい。
【0031】
また、このとき、カメラ200は、撮像する画像を画像解析し、画像解析の結果に基づいて、通知するアラートの内容を変更する構成であってもよい。例えば、カメラ200は、撮像した画像を画像解析した結果、画像に人物Bが映っていることを認識したとき、通知するアラートの内容を、「現在、人物Bが映っている画像を、ユーザAに送信しています」と変更し、この変更したアラートを通知してもよい。すなわち、カメラ200は、撮像する人物Bに対して、現在自身が撮像されている点を明示したアラートに変更し、通知する。また、カメラ200は、音声以外の構成であっても、上述したアラートの内容を変更し、この変更したアラートを通知してもよい。
【0032】
ユーザ端末100は、画像データを受信し、カメラ200が撮像する画像を取得する。ユーザ端末100は、取得した画像に基づいて、カメラ200が撮像する画像を自身に表示する(ステップS06)。なお、ユーザ端末100は、表示した画像の領域を指定し、この指定した領域の画像を取得する構成であってもよい。例えば、ユーザ端末100は、この表示した画像に映っている人物Bを指定することにより、この人物Bのみの画像を取得したり、人物Bの身体の一部を指定することにより、この人物Bの身体の一部の画像を取得したり、人物B以外の画像を指定することにより、この人物B以外の画像を取得したりする。このとき、ユーザ端末100は、指定した領域の画像を取得する指定領域取得要求をカメラ200に送信し、カメラ200は、この指定領域取得要求に基づいて、ユーザ端末100が指定した領域の画像の指定領域画像データをユーザ端末100に送信する。
【0033】
以上が、画像取得システム1の概要である。
【0034】
[画像取得システム1のシステム構成]
図2に基づいて、画像取得システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である画像取得システム1のシステム構成を示す図である。画像取得システム1は、ユーザ端末100、カメラ200、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成される。なお、ユーザ端末100、カメラ200は、1つに限らず、複数であってもよい。また、後述する各処理は、ユーザ端末100、カメラ200のいずれか又は双方により実現されてもよい。
【0035】
ユーザ端末100は、後述の機能を備えた上述した端末装置である。以下の説明において、このユーザ端末100の所持者をユーザAとして説明する。
【0036】
カメラ200は、後述の機能を備えた上述した撮像装置である。以下の説明において、カメラ200が撮像する人物を人物Bとして説明する。
【0037】
[各機能の説明]
図3に基づいて、画像取得システム1の機能について説明する。図3は、ユーザ端末100、カメラ200の機能ブロック図を示す図である。
【0038】
ユーザ端末100は、制御部110として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部120として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、ユーザ端末100は、入出力部140として、制御部110で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。
【0039】
ユーザ端末100において、制御部110が所定のプログラムを読み込むことにより、通信部120と協働して、取得要求送信モジュール150、画像受信モジュール151を実現する。また、ユーザ端末100において、制御部110が所定のプログラムを読み込むことにより、入出力部140と協働して、入力受付モジュール170、表示モジュール171を実現する。
【0040】
カメラ200は、ユーザ端末100と同様に、制御部210として、CPU、RAM、ROM等を備え、通信部220として、他の機器と通信可能にするためのデバイス等を備え、入出力部240として、表示部や、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイスや、スピーカ等の放音デバイスや、マイク等の集音デバイス等を備える。
【0041】
カメラ200において、制御部210が所定のプログラムを読み込むことにより、通信部220と協働して、取得要求受信モジュール250、画像送信モジュール251を実現する。また、カメラ200において、制御部210が所定のプログラムを読み込むことにより、入出力部240と協働して、取得要求通知モジュール270、許諾受付モジュール271、アラート通知モジュール272、撮像モジュール273、解析モジュール274を実現する。
【0042】
なお、以下の説明において、ユーザ端末100、カメラ200の各装置は1つであるものとして説明しているが、複数であっても本処理は実行可能であることはいうまでもない。
【0043】
[画像取得処理]
図4及び図5に基づいて、画像取得システム1が実行する画像取得処理について説明する。図4及び図5は、ユーザ端末100、カメラ200が実行する画像取得処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
【0044】
入力受付モジュール170は、画像を取得するカメラ200の選択入力を受け付ける(ステップS10)。ステップS10において、例えば、入力受付モジュール170は、複数のカメラ200が撮像する画像の一覧を表示部に表示し、この画像の中から一又は複数の画像を選択することにより、画像を取得するカメラ200の選択入力を受け付ける。また、入力受付モジュール170は、カメラ200の所在地、特定のキーワード、電話番号やユーザ名やIPアドレス等の機器に固有な機器情報等の入力を受け付けることにより、画像を取得するカメラ200の選択入力を受け付ける。
【0045】
取得要求送信モジュール150は、選択入力を受け付けたカメラ200に対して、このカメラ200が撮像する画像を取得する取得要求を送信する(ステップS11)。
【0046】
取得要求受信モジュール250は、取得要求を受信する。取得要求通知モジュール270は、この取得要求を、カメラ200近傍にいる人物に対して通知する(ステップS12)。ステップS12において、取得要求通知モジュール270は、ユーザ端末100が画像を取得しようとしている旨を音声、光、文字、画像等により通知する。
【0047】
ステップS12において、例えば、取得要求通知モジュール270は、カメラ200に付属するスピーカ等から音声を出力することにより、取得要求を通知する。具体的には、取得要求通知モジュール270は、「撮像した画像を、ユーザAに送信していいですか?」と音声出力する。また、取得要求通知モジュール270は、カメラ200に付属するライト等から光を出力することにより、取得要求を通知する。具体的には、取得要求通知モジュール270は、ライトを点滅させることや、特定の色に発光させることにより、上述した取得要求を通知する。また、取得要求通知モジュール270は、カメラ200に付属する電光掲示板や液晶パネル等に文字を表示することにより、取得要求を通知する。具体的には、取得要求通知モジュール270は、「撮像した画像を、ユーザAに送信していいですか?」と文字として出力表示する。また、取得要求通知モジュール270は、上述した電光掲示板や液晶パネル等に画像を表示することにより、取得要求を通知する。具体的には、取得要求通知モジュール270は、このカメラ200が撮像する画像を送信することを示す画像を出力表示する。
【0048】
なお、取得要求通知モジュール270は、上述した構成以外の構成により、取得要求を通知してもよい。また、上述した構成を複数組合わせることにより、取得要求を通知する構成であってもよい。
【0049】
許諾受付モジュール271は、取得要求に対する許諾を受け付けたか否かを判断する(ステップS13)。ステップS13において、許諾受付モジュール271は、例えば、人物Bからの音声やジェスチャー等の入力を受け付けたか否かに基づいて、許諾を受け付けたか否かを判断する。例えば、許諾受付モジュール271は、カメラ200に付属するマイク等により人物Bの音声を集音し、許諾を受け付けたか否かを判断する。また、許諾受付モジュール271は、撮像モジュール273が人物Bの身体の一部又は全部を撮像し、許諾を受け付けたか否かを判断する。具体的には、許諾受付モジュール271は、人物Bが「オーケーです」、「許可します」、「問題ありません」等の一般的に許諾したと認識可能な音声を発したか否かを判断する。また、許諾受付モジュール271は、人物Bが腕や指で丸を形作るジェスチャー、親指を上に向けるジェスチャー、頷くジェスチャー等の一般的に許諾したと認識可能なジェスチャーを実行したか否かを判断する。
【0050】
なお、許諾受付モジュール271は、上述した構成以外の構成により、許諾を受け付けてもよい。また、許諾受付モジュール271は、上述した音声又はジェスチャー以外の音声又はジェスチャーを実行したか否かを判断してもよい。また、予め許諾を示す音声やジェスチャーを記憶しておき、この記憶する音声やジェスチャーを受け付けたか否かを判断することにより、許諾を受け付けたか否かを判断してもよい。また、許諾受付モジュール271は、音声やジェスチャー以外の構成、例えば、スイッチによる入力やセンサによる検出等により許諾を受け付けてもよい。
【0051】
また、ステップS13の処理は、図示していない外部コンピュータや、ユーザ端末100が実行する構成であってもよい。例えば、カメラ200が、受け付けた音声やジェスチャー等のデータを、外部コンピュータに送信し、外部コンピュータにより、許諾を受け付けたか否かを判断する構成であってもよい。
【0052】
ステップS13において、許諾受付モジュール271は、許諾を受け付けたと判断した場合(ステップS13 YES)、後述するステップS15の処理を実行する。
【0053】
一方、ステップS13において、許諾受付モジュール271は、許諾を受け付けていないと判断した場合(ステップS13 NO)、許諾受付モジュール271は、所定時間が経過したか否かを判断する(ステップS14)。ステップS14において、許諾受付モジュール271は、例えば、30秒、1分、3分等の所定時間が、取得要求を通知した時点から経過したか否かを判断する。なお、所定時間とは、人物Bが取得要求に対して応答するために必要な時間であればよく、その時間は適宜変更可能である。
【0054】
ステップS14において、許諾受付モジュール271は、所定時間が経過していないと判断した場合(ステップS14 NO)、上述したステップS13の処理を再度実行する。
【0055】
一方、ステップS14において、許諾受付モジュール271は、所定時間が経過したと判断した場合(ステップS14 YES)、アラート通知モジュール272は、アラートを通知する(ステップS15)。ステップS15において、アラート通知モジュール272は、音声、光、文字、画像等により、人物Bに対してアラートを通知する。
【0056】
ステップS15において、例えば、アラート通知モジュール272は、スピーカ等から音声を出力することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、「撮像する画像をユーザAに送信することを開始します」と音声出力することにより、撮像する画像をユーザAに送信することを人物Bに通知する。
【0057】
また、ステップS15において、例えば、アラート通知モジュール272は、ライト等により、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、上述するアラートを発光、点滅、光の色の変更等することにより、撮像する画像をユーザAに送信することを人物Bに通知する。
【0058】
また、ステップS15において、例えば、アラート通知モジュール272は、電光掲示板や液晶パネル等に文字を表示することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、「撮像する画像をユーザAに送信することを開始します」と文字を出力表示することにより、撮像する画像をユーザAに送信することを人物Bに通知する。
【0059】
また、ステップS15において、例えば、アラート通知モジュール272は、電光掲示板や液晶パネル等に画像を表示することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、このカメラ200が撮像する画像を送信しようとしていることを示す画像を出力表示する。
【0060】
なお、アラート通知モジュール272は、上述した構成以外の構成により、アラートを通知してもよい。また、アラート通知モジュール272は、上述した構成を組合わせることにより、アラートを通知してもよい。
【0061】
また、上述したステップS13の処理とステップS14の処理とは、いずれか一方のみを実行する構成であってもよい。
【0062】
また、ステップS13又はステップS14において、許諾受付モジュール271は、拒否する許諾を受け付けた場合、本処理を終了する。この許諾としては、一般的に拒否したと認識可能な音声やジェスチャー等である。また、このとき、人物に対して、モザイク等の個人を識別できないような画像処理を施したうえで、ユーザ端末100に送信する構成であってもよい。また、このとき、カメラ200が画像データをユーザ端末100に送信するものの、ユーザ端末100が、モザイク等の個人が識別できないような画像処理を施したうえで、後述するステップS18において、この画像処理が施された画像を表示する構成であってもよい。
【0063】
撮像モジュール273は、画像を撮像する(ステップS16)。
【0064】
画像送信モジュール251は、撮像した画像の画像データを、ユーザ端末100に送信する(ステップS17)。
【0065】
画像受信モジュール151は、画像データを受信する。表示モジュール171は、画像データに基づいて、カメラ200が撮像する画像を表示する(ステップS18)。
【0066】
入力受付モジュール170は、領域を指定する入力を受け付けたか否かを判断する(ステップS19)。ステップS19において、入力受付モジュール170は、表示する画像に対して、タップ操作やマウス等の入力装置により、この入力を受け付けたか否かを判断する。ステップS19において、例えば、入力受付モジュール170は、領域の指定として、表示する画像に映っている人物Bの顔、目、口等の一部又は全部や、人物B以外の領域の一部又は全部を受け付けたか否か等を判断する。
【0067】
図8は、入力受付モジュール170が領域の指定を受け付けた状態の一例を示す図である。図8において、表示モジュール171は、カメラ200が撮像する画像300を表示する。また、アイコン320は、ユーザAの手を模式的に示す。ユーザAは、画像300をタップすることにより、所望する領域310を指定する。図8において、入力受付モジュール170が、人物Bの顔周辺を領域310として指定した状態を示す。領域310は、ユーザAからの入力により、後述する処理において、取得したい画像の部位を意味する。
【0068】
なお、入力受付モジュール170は、画像の部位を線で囲うことにより、領域310を示しているが、その他の構成により領域310を示しても良い。例えば、入力受付モジュール170は、人物の一部をタップすることにより、この人物の全体を領域310として認識してもよい。また、人物の一部をタップすることにより、このタップした部位を領域310として認識してもよい。また、人物以外の部位をタップすることにより、人物を除外した部位を領域310として認識してもよい。これは、画像を画像解析し、各人物の部位、人物、背景等の各境界を識別することにより、実行すればよい。
【0069】
ステップS19において、入力受付モジュール170は、指定を受け付けたと判断した場合(ステップS19 YES)、取得要求送信モジュール150は、指定を受け付けた領域の画像を取得する指定領域画像取得要求を、カメラ200に送信する(ステップS20)。ステップS20において、取得要求送信モジュール150は、指定を受け付けた領域のみの画像を取得する指定領域画像取得要求を送信する。
【0070】
取得要求受信モジュール250は、指定領域画像取得要求を受信する。画像送信モジュール251は、受信した指定領域画像取得要求に基づいて、ユーザAが指定した領域の画像のデータを、指定領域画像データとしてユーザ端末100に送信する(ステップS21)。
【0071】
画像受信モジュール151は、指定領域画像データを受信する。表示モジュール171は、指定領域画像データに基づいて、指定した領域の画像を表示する(ステップS22)。その後、ユーザ端末100は、後述するステップS23の処理を実行する。
【0072】
図9は、表示モジュール171が表示する指定領域画像の一例を示す図である。図9において、表示モジュール171は、図8において指定した領域310の指定領域画像400を表示する。図9において、表示モジュール171は、画像400を、上述した図8において表示した画像300の縦横比と同様のサイズに拡大して表示する。
【0073】
なお、表示モジュール171は、指定領域画像400のサイズを変更しているが、変更せずに表示してもよい。
【0074】
一方、ステップS19において、入力受付モジュール170は、入力を受け付けていないと判断した場合(ステップS19 NO)、入力受付モジュール170は、画像取得の終了指示の入力を受け付けたか否かを判断する(ステップS23)。ステップS23において、入力受付モジュール170は、例えば、ユーザAからの終了指示に係る音声入力、終了指示に係るジェスチャー入力、表示部に表示する終了アイコンの操作入力等の入力を受け付けたか否かを判断する。
【0075】
ステップS23において、入力受付モジュール170は、入力を受け付けていないと判断した場合(ステップS23 NO)、上述したステップS19の処理を実行する。
【0076】
一方、ステップS23において、入力受付モジュール170は、入力を受け付けたと判断した場合(ステップS23 YES)、画像受信モジュール151は、画像の取得を終了し、本処理を終了する。
【0077】
なお、上述した各処理は、ユーザ端末100とカメラ200とにより実行しているが、これらの構成に加え、外部コンピュータ等の図示していないその他の構成により実行してもよい。
【0078】
以上が、画像取得処理である。
【0079】
[通知処理]
図6に基づいて、画像取得システム1が実行する通知処理について説明する。図6は、カメラ200が実行する通知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
【0080】
画像送信モジュール251は、画像データをユーザ端末100に送信しているか否かを判断する(ステップS30)。ステップS30において、画像送信モジュール251は、画像データ又は指定領域画像データをユーザ端末100に送信しているか否かを判断する。ステップS30において、画像送信モジュール251は、画像データを送信していないと判断した場合(ステップS30 NO)、本処理を終了する。
【0081】
一方、ステップS30において、画像送信モジュール251は、画像データを送信していると判断した場合(ステップS30 YES)、アラート通知モジュール272は、所定時間が経過したか否かを判断する(ステップS31)。ステップS31において、所定時間とは、例えば、30秒、1分、2分、5分等である。この所定時間は、適宜変更可能である。ステップS31において、アラート通知モジュール272は、画像データの送信が開始されてから所定時間経過したか否か、前回本処理を実行してから所定時間が経過したか否かを判断する。
【0082】
ステップS31において、アラート通知モジュール272は、経過していないと判断した場合(ステップS31 NO)、上述したステップS30の処理を実行する。
【0083】
一方、ステップS31において、アラート通知モジュール272は、経過していると判断した場合(ステップS31 YES)、アラート通知モジュール272は、アラートを通知する(ステップS32)。ステップS32において、アラート通知モジュール272は、アラートとして、音声、光、文字、画像等を通知する。
【0084】
ステップS32において、例えば、アラート通知モジュール272は、スピーカ等から音声を出力することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、「現在、撮像した画像をユーザAに送信しています」と音声出力することにより、撮像する画像をユーザAに送信中であることを人物Bに通知する。
【0085】
また、ステップS32において、例えば、アラート通知モジュール272は、ライト等により、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、上述するアラートを、発光、点滅、光の色を変更等することにより、撮像する画像をユーザAに送信中であることを人物Bに通知する。
【0086】
また、ステップS32において、例えば、アラート通知モジュール272は、電光掲示板や液晶パネル等に文字を表示することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、「現在、撮像した画像をユーザAに送信しています」と文字を出力表示することにより、撮像する画像をユーザAに送信中であることを人物Bに通知する。
【0087】
また、ステップS32において、例えば、アラート通知モジュール272は、電光掲示板や液晶パネル等に画像を表示することにより、人物Bに対してアラートを通知する。具体的には、アラート通知モジュール272は、カメラ200が現在ユーザ端末100に画像送信中であることを示す画像を出力表示する。
【0088】
なお、アラート通知モジュール272は、上述した構成以外の構成により、アラートを通知してもよい。また、アラート通知モジュール272は、上述した構成を組合わせることにより、アラートを通知してもよい。
【0089】
画像送信モジュール251は、画像取得が終了したか否かを判断する(ステップS33)。ステップS33において、画像送信モジュール251は、画像受信モジュール151が画像の取得を終了したか否かに基づいて判断する。なお、画像送信モジュール251は、その他の構成により画像取得が終了したか否かを判断してもよい。
【0090】
ステップS33において、画像送信モジュール251は、終了していないと判断した場合(ステップS33 NO)、上述したステップS30の処理を実行する。一方、ステップS33において、画像送信モジュール251は、終了したと判断した場合(ステップS33 YES)、本処理を終了する。
【0091】
なお、上述した各処理は、カメラ200が実行しているが、図示していない外部コンピュータやユーザ端末100が実行する構成であってもよいし、ユーザ端末100、カメラ200、図示していない外部コンピュータのいずれか又は複数の組合わせにより実行する構成であってもよい。
【0092】
以上が、通知処理である。
【0093】
[通知内容変更処理]
図7に基づいて、画像取得システム1が実行する通知内容変更処理について説明する。図7は、カメラ200が実行する通知内容変更処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、本処理は、上述したステップS32において通知するアラートの内容を変更する処理である。
【0094】
画像送信モジュール251は、指定領域画像データを送信しているか否かを判断する(ステップS40)。ステップS40において、画像送信モジュール251は、送信していないと判断した場合(ステップS40 NO)、本処理を終了する。
【0095】
なお、ステップS40の処理は、指定領域画像データではなく、通常の画像データが送信中であるか否かに基づいて実行してもよい。この場合、画像送信モジュール251は、画像データを送信しているか否かを判断すればよい。
【0096】
一方、ステップS40において、画像送信モジュール251は、送信していると判断した場合(ステップS40 YES)、解析モジュール274は、現在送信中の指定領域画像データを画像解析し、この画像解析結果に基づいて、指定領域画像データに含まれる物体を認識する(ステップS41)。ステップS41において、解析モジュール274は、指定領域画像データに含まれる物体の特徴量を抽出し、抽出した特徴量と、自身が記憶するデータベースや外部コンピュータが記憶するデータベース等に格納された物体の特徴量とを比較することにより、この指定領域画像データに含まれる物体を認識する。
【0097】
なお、ステップS41において、解析モジュール274は、その他の構成により、指定領域画像データに含まれる物体を認識してもよい。
【0098】
アラート通知モジュール272は、認識した物体に基づいて、上述したステップS32において通知するアラートの内容を変更する(ステップS42)。
【0099】
ステップS42において、一例として、解析モジュール274が認識した物体が人物Bである場合について説明する。
【0100】
ステップS42において、例えば、アラート通知モジュール272は、上述したステップS32における通知の内容を、「現在、人物Bを撮像する画像を、ユーザAに送信しています」と変更する。アラート通知モジュール272は、この変更した通知の内容に基づいて、音声、光、文字、画像等のアラートを変更し、人物Bに通知する。
【0101】
なお、上述した各処理は、カメラ200が実行しているが、図示していない外部コンピュータやユーザ端末100が実行する構成であってもよいし、ユーザ端末100、カメラ200、図示していない外部コンピュータのいずれか又は複数の組合わせにより実行する構成であってもよい。
【0102】
また、通知内容変更処理は、一度アラート内容を変更した場合、指定領域画像データが変更された場合において、再度実行すればよい。すなわち、認識した物体に変化が生じた場合に、実行すればよい。
【0103】
以上が、通知内容変更処理である。
【0104】
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【0105】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【0106】
1 画像取得システム、100 ユーザ端末、200 カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9