特許7335463携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-08-21
(45)【発行日】2023-08-29
(54)【発明の名称】携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム
(51)【国際特許分類】
H04N 23/667 20230101AFI20230822BHJP
H04N 23/60 20230101ALI20230822BHJP
H04N 23/68 20230101ALI20230822BHJP
G03B 15/00 20210101ALI20230822BHJP
【ＦＩ】
H04N23/667
H04N23/60 500
H04N23/68
G03B15/00 S
【請求項の数】
21
(21)【出願番号】P 2023012465
(22)【出願日】2023-01-31
【審査請求日】2023-02-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】100190414
【弁理士】
【氏名又は名称】芹澤 友之
(72)【発明者】
【氏名】杉本 秀樹
(72)【発明者】
【氏名】坂元 宏範
(72)【発明者】
【氏名】嶋田 裕介
(72)【発明者】
【氏名】ヨウ ロウセン
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第２００７／０７７６１４（ＷＯ，Ａ１）
【文献】特開２０１０－０９８６６２（ＪＰ，Ａ）
【文献】特開２０２１－０９７４０２（ＪＰ，Ａ）
【文献】特開２０１０－１０９５５４（ＪＰ，Ａ）
【文献】国際公開第２０１７／１０４１０２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６６７
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６８
Ｇ０３Ｂ １５／００
(57)【特許請求の範囲】
【請求項1】
携帯用の撮像装置であって、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタルズームである、
撮像装置。
【請求項2】
携帯用の撮像装置であって、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタルズームであり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
撮像装置。
【請求項3】
携帯用の撮像装置であって、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタル歪曲補正である、
撮像装置。
【請求項4】
前記撮像装置は、前記第１のデジタル画像処理を停止する際に、その旨をユーザに通知する、
ように構成されている、請求項１から３のうちいずれか一項に記載の撮像装置。
【請求項5】
前記撮像装置は、前記撮像装置に対する入力操作に応じて、前記第２のデジタル画像処理を実行する、
ように構成されている、請求項３に記載の撮像装置。
【請求項6】
前記撮像装置は、通信ネットワークを通じて前記撮像装置に通信可能に接続されたユーザ端末に対する入力操作に応じて、前記第２のデジタル画像処理を実行する、
ように構成されている、請求項１から３のうちいずれか一項に記載の撮像装置。
【請求項7】
携帯用の撮像装置であって、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、前記撮像装置が移動していることの決定に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル歪曲補正であり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
撮像装置。
【請求項8】
前記撮像装置は、前記撮像装置が移動していないことを決定し、
前記撮像装置が移動していないことの決定に応じて、前記デジタル手振れ補正を停止する、
ように構成されている、請求項３に記載の撮像装置。
【請求項9】
前記撮像装置は、
前記第２のデジタル画像処理を実行した後に当該第２のデジタル画像処理を停止する場合に、前記第１のデジタル画像処理を再開する、
ように構成されている、請求項１に記載の撮像装置。
【請求項10】
携帯用の撮像装置と、前記撮像装置に通信可能に接続されたサーバと、
前記サーバに通信可能に接続されたユーザ端末と、
を備えた映像処理システムであって、
前記映像処理システムは、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタルズームである、
映像処理システム。
【請求項11】
携帯用の撮像装置と、
前記撮像装置に通信可能に接続されたサーバと、
前記サーバに通信可能に接続されたユーザ端末と、
を備えた映像処理システムであって、
前記映像処理システムは、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタルズームであり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
映像処理システム。
【請求項12】
携帯用の撮像装置と、
前記撮像装置に通信可能に接続されたサーバと、
前記サーバに通信可能に接続されたユーザ端末と、
を備えた映像処理システムであって、
前記映像処理システムは、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタル歪曲補正である、
映像処理システム。
【請求項13】
携帯用の撮像装置と、
前記撮像装置に通信可能に接続されたサーバと、
前記サーバに通信可能に接続されたユーザ端末と、
を備えた映像処理システムであって、
前記映像処理システムは、
撮影を通じて映像データを取得し、
前記映像データに対して第１のデジタル画像処理を実行し、
前記第１のデジタル画像処理が実行されている状態で、前記撮像装置が移動していることの決定に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、
ように構成され、
前記第１のデジタル画像処理は、デジタル歪曲補正であり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
映像処理システム。
【請求項14】
撮影を通じて映像データを取得するステップと、前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
を含み、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタルズームである、
コンピュータによって実行される映像処理方法。
【請求項15】
撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
を含み、
前記第１のデジタル画像処理は、デジタルズームであり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
コンピュータによって実行される映像処理方法。
【請求項16】
撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
を含み、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタル歪曲補正である、
コンピュータによって実行される映像処理方法。
【請求項17】
撮像装置による撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、前記撮像装置が移動していることの決定に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
を含み、
前記第１のデジタル画像処理は、デジタル歪曲補正であり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
コンピュータによって実行される映像処理方法。
【請求項18】
撮影を通じて映像データを取得するステップと、前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
をコンピュータに実行させる映像処理プログラムであって、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタルズームである、
映像処理プログラム。
【請求項19】
撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、ユーザの指示に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
をコンピュータに実行させる映像処理プログラムであって、
前記第１のデジタル画像処理は、デジタルズームであり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
映像処理プログラム。
【請求項20】
撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
をコンピュータに実行させる映像処理プログラムであって、
前記第１のデジタル画像処理は、デジタル手振れ補正であり、
前記第２のデジタル画像処理は、デジタル歪曲補正である、
映像処理プログラム。
【請求項21】
撮像装置による撮影を通じて映像データを取得するステップと、
前記映像データに対して第１のデジタル画像処理を実行するステップと、
前記第１のデジタル画像処理が実行されている状態で、前記撮像装置が移動していることの決定に応じて前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、
をコンピュータに実行させる映像処理プログラムであって、
前記第１のデジタル画像処理は、デジタル歪曲補正であり、
前記第２のデジタル画像処理は、デジタル手振れ補正である、
映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、建設現場等に使用される油圧ショベル等の作業機械と、ネットワークを介して作業機械に通信可能に接続された遠隔操作支援サーバ及び遠隔操作装置とを備えた遠隔操作支援システムが開示されている。当該遠隔操作支援システムでは、作業機械に搭載されたカメラからの映像データがネットワークを介して遠隔操作装置に送信される。オペレータは、遠隔操作装置上に表示された映像データを確認することで、遠隔場所から作業機械の一連の動作を制御することができる。
【0003】
特許文献１に開示された遠隔操作支援システムでは、作業機械が動作している状態では、作業機械に搭載されたカメラのズーム機能及び手振れ補正機能が停止する。その一方で、作業機械が動作していない状態では、カメラのズーム機能及び手振れ補正機能が有効となる。このように、当該遠隔操作支援システムでは、作業機械の動作状態に応じて、カメラのズーム機能及び手振れ補正機能が停止又は有効となる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２２－１４４４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、複数の監視カメラを用いて建設現場の進捗状況を監視する近年の遠隔監視システムでは、複数の監視カメラの少なくともいくつかは建設現場の作業員の胸ポケットに入れる等して身体に装着されている又は作業員に把持されている。作業員が移動している間では、この種の監視カメラ（以下、携帯用監視カメラ）は、作業員の身体の揺れに連動して揺れてしまう。この結果、携帯用監視カメラによって撮影された映像データにブレが生じてしまう。このため、作業員が移動している間では、映像データのブレを抑制するための画像処理（以下、手振れ補正）が映像データに対して実行されることが好ましい。手振れ補正により、現場監督者は、遠隔場所から建設現場の状況を正確に把握することができる。この様なシーンで用いられる携帯用監視カメラにおいては、サイズや価格を小さく抑えるため、デジタル手振れ補正（電子式の手振れ補正）、デジタルズーム（電子式のズーム）、デジタル歪曲補正（電子式の歪曲補正）、といった各種デジタル補正機能が採用されることが多いため、例えば以下のケースの様な課題があった。
【0006】
ケース１：現場の作業員が遠隔の監督者より指示を受け、建設現場のうち特定エリアが重点的に監視される場合では、作業員が所望の場所で立ち止まり、必要に応じて携帯用監視カメラが作業員の身体から取り外される。そして、当該携帯用監視カメラが所定の位置に固定的に配置された上で、携帯用監視カメラの視野の中に特定エリアが含まれるように映像が撮影されることがある。この場合、携帯用監視カメラのデジタルズーム機能（電子式のズーム機能）を通じて、カメラの視野の中に存在する特定エリアが拡大表示されることで、特定エリアを重点的に遠隔監視することが可能となる。
【0007】
この様な場合では、携帯用監視カメラによって撮影された映像データにブレが生じ難くなるため、映像データのブレを抑制するための手振れ補正機能を有効化する必要性が低い。寧ろ、手振れ補正機能が有効である状態では、デジタル手振れ補正を実行するカメラのプロセッサの演算負荷が大きくなってしまう。特に、デジタルズーム機能とデジタル手振れ補正機能の両方が有効である場合には、プロセッサの演算負荷が大きくなってしまう。この結果、携帯用監視カメラのバッテリ消費量が大きくなると共に、映像データの送信遅延が生じる虞がある。このため、映像データにブレが生じ難い状況のときやデジタルズーム機能が有効であるときにはデジタル手振れ補正機能を有効化しない方が好ましい。しかしながら、そのような状況下において、作業員が携帯用監視カメラのデジタル手振れ補正機能を停止することを忘れて、デジタル手振れ補正機能とデジタルズーム機能の両方を有効化させてしまう状況が想定される。また、仮に作業員が携帯用監視カメラのデジタル手振れ補正機能を停止することを覚えていたとしても、それを行う操作の手間が煩わしいという問題もある。
【0008】
ケース２：ケース１と同様に、デジタルズーム機能を通じて特定エリアが拡大表示される場合では、そもそも携帯用監視カメラの画角を広げるためのデジタル歪曲補正機能を有効化する必要がない。ここで、デジタル歪曲補正とは、携帯用監視カメラに内蔵されたレンズによって生じる映像データ（各フレーム画像）の四隅周辺の歪みを補正することにより、携帯用監視カメラの画角を広げることを可能とする機能である。デジタルズーム機能とデジタル歪曲補正機能の両方が有効である状態では、カメラのプロセッサの演算負荷が大きくなってしまう。プロセッサの演算負荷の増大に伴い、携帯用監視カメラのバッテリ消費量が大きくなると共に、映像データの送信遅延が生じる虞がある。さらに言及するならば、デジタルズーム機能はカメラの視野内の一部のエリアを拡大表示するため機能であるのに対し、デジタル歪曲補正機能はカメラの画角を広げるための機能であるため、そもそも両者は互いに相反する目的の機能であって、両者を同時に有効化する必要はない。しかしながら、そのような状況下において、作業員が携帯用監視カメラのデジタル歪曲補正機能を停止することを忘れて、デジタル歪曲補正機能とデジタルズーム機能の両方を有効化させてしまう状況が想定される。また、仮に作業員が携帯用監視カメラのデジタル歪曲補正機能を停止することを覚えていたとしても、それを行う操作の手間が煩わしいという問題もある。
【0009】
ケース３：ケース１に対応して、携帯用監視カメラを作業員が自身の身体に装着して再び移動する場合では、携帯用監視カメラのデジタル手振れ補正機能を有効化する必要がある一方で、デジタルズーム機能を有効化する必要性は低い。寧ろ、周辺環境の一部エリアが拡大表示された映像データでは建設現場等の周辺環境の状況を正確に把握できないため、作業員が移動中の場合には、デジタルズーム機能を有効化することは好ましくない。さらに、デジタルズーム機能とデジタル手振れ補正機能の両方が有効である場合には、プロセッサの演算負荷が大きくなってしまう。しかしながら、そのような状況下において、作業員が携帯用監視カメラのデジタルズーム機能を停止することを忘れて、デジタル手振れ補正機能とデジタルズーム機能の両方を有効化させてしまう状況が想定される。また、仮に作業員が携帯用監視カメラのデジタルズーム機能を停止することを覚えていたとしても、それを行う操作の手間が煩わしいという問題もある。
【0010】
ケース４：ケース２に対応して、ケース３と同様に、携帯用監視カメラを作業員が自身の身体に装着して再び移動する場合では、携帯用監視カメラのデジタル歪曲補正機能を有効化する必要がある一方で、そもそもデジタルズーム機能を有効化する必要はない。しかしながら、そのような状況下において、作業員が携帯用監視カメラのデジタルズーム機能を停止することを忘れて、デジタル歪曲補正機能とデジタルズーム機能の両方を有効化させてしまう状況が想定される。また、仮に作業員が携帯用監視カメラのデジタルズーム機能を停止することを覚えていたとしても、それを行う操作の手間が煩わしいという問題もある。
【0011】
ケース５：デジタル手振れ補正機能とデジタル歪曲補正機能は、原理的に相容れない。なぜならば、デジタル手振れ補正機能では、補正のために撮像素子の画角のうち外側部分がマージンとして使用され、ユーザにはそれ以外の内側部分の撮像素子の画角が表示されるのに対し、デジタル歪曲補正機能では、補正により撮像素子の画角のうち外側の歪みを取ることで、ユーザには撮像素子の全体の画角が表示されるからである。仮に、両者が同時に有効になった場合には、特に手振れが大きいときに撮像素子の画角の外側部分の情報が欠損した状態でユーザに表示されてしまう。さらに、プロセッサの演算負荷が大きくなってしまうばかりでなく、最悪の場合はカメラの映像処理システムがフリーズしてしまう可能性すらある。しかしながら、多くの作業員はその様な原理を知る筈もないため、デジタル歪曲補正機能が有効になっている状態で、作業員がデジタル手振れ補正機能を有効にしようとするケースが想定され得る。また、仮に作業員がその様な原理を理解していて、デジタル歪曲補正機能を無効にしたうえで、デジタル手振れ補正機能を有効にできたとしても、それを行う操作の手間が煩わしいという問題もある。
【0012】
ケース６：ケース５と同様に、多くの作業員は前述の様なデジタル画像処理の原理を知る筈もないため、デジタル手振れ補正機能が有効になっている状態で、作業員がデジタル歪曲補正機能を有効にしようとするケースが想定され得る。また、仮に作業員が前述の様なデジタル画像処理の原理を理解し、デジタル手振れ補正機能を無効にしたうえで、デジタル歪曲補正機能を有効にできたとしても、それを行う操作の手間が煩わしいという問題もある。
【0013】
このように、互いに異なる２つのデジタル画像処理の機能（例えば、デジタル手振れ補正機能、デジタルズーム機能、デジタル歪曲補正機能等）の両方を有効化させてしまう状況を好適に防止可能な携帯用監視カメラについて検討の余地がある。
【0014】
本開示は、ユーザビリティが向上した携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムを提供することを目的とする。特に、本開示は、互いに異なる２つのデジタル画像処理の機能を有効化させてしまう状況を好適に防止可能な携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0015】
本開示の一態様に係る携帯用の撮像装置は、撮影を通じて映像データを取得し、前記映像データに対して第１のデジタル画像処理を実行し、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、ように構成されている。
【0016】
上記構成によれば、第１のデジタル画像処理が実行されている状態で第２のデジタル画像処理が映像データに対して実行される場合に、第１のデジタル画像処理が停止される。このように、互いに異なる２つのデジタル画像処理が同時に実行されてしまう状況を好適に防止することが可能となる。例えば、２つの異なるデジタル画像処理の機能が有効である状態では、撮像装置に内蔵されたプロセッサ等の演算負荷が大きくなってしまい、撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、かかる状況を好適に抑制することができる。したがって、ユーザビリティが向上した携帯用の撮像装置を提供することができる。
【0017】
また、前記第１のデジタル画像処理は、デジタル手振れ補正であってもよい。前記第２のデジタル画像処理は、デジタルズームであってもよい。
【0018】
上記構成によれば、デジタル手振れ補正が実行されている状態でデジタルズームが映像データに対して実行される場合に、デジタル手振れ補正が停止される。このように、デジタル手振れ補正が実行されている状態でデジタルズームが実行されてしまう状況を好適に防止することが可能となる。例えば、デジタルズームが実行される場合には、撮像装置は、所定の位置に固定的に配置されているため、映像データのブレを抑制するためのデジタル手振れ補正を実行する必要性は低い。寧ろ、デジタルズームとデジタル手振れ補正の両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタルズームが実行される場合に、デジタル手振れ補正が停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0019】
また、第１のデジタル画像処理は、デジタル歪曲補正であってもよい。第２のデジタル画像処理は、デジタルズームであってもよい。
【0020】
上記構成によれば、デジタル歪曲補正が実行されている状態でデジタルズームが実行されてしまう状況を好適に防止することが可能となる。例えば、デジタルズーム機能を通じて視野内の一部エリアが拡大表示される場合には、撮像装置の画角を広げるデジタル歪曲補正を実行する必要はない。寧ろ、デジタルズームとデジタル歪曲補正の両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタルズームが実行される場合に、デジタル歪曲補正が停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0021】
また、前記第１のデジタル画像処理は、デジタルズームであってもよい。前記第２のデジタル画像処理は、デジタル手振れ補正であってもよい。
【0022】
上記構成によれば、デジタルズームが実行されている状態でデジタル手振れ補正が映像データに対して実行される場合に、デジタルズームが停止される。このように、デジタル手振れ補正が実行されている状態でデジタルズームが実行されてしまう状況を好適に防止することが可能となる。例えば、ユーザが移動している間には、視野内の周辺環境の一部エリアが拡大表示された映像データでは建設現場等の周辺環境の状況を正確に把握できないため、デジタルズーム機能が有効となっていることは好ましくはない。さらに、デジタル手振れ補正とデジタルズームの両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタル手振れ補正が実行されるときに（換言すれば、ユーザが移動するときに）、デジタルズーム機能が停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0023】
また、前記第１のデジタル画像処理は、デジタルズームであってもよい。前記第２のデジタル画像処理は、デジタル歪曲補正であってもよい。
【0024】
上記構成によれば、デジタル歪曲補正が実行されている状態でデジタルズームが実行されてしまう状況を好適に防止することが可能となる。例えば、撮像装置の画角を広げるデジタル歪曲補正が実行される場合には、デジタルズーム機能を通じて視野内の一部エリアが拡大表示される必要はない。寧ろ、デジタルズームとデジタル歪曲補正の両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタル歪曲補正が実行される場合に、デジタルズームが停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0025】
また、前記第１のデジタル画像処理は、デジタル歪曲補正であってもよい。前記第２のデジタル画像処理は、デジタル手振れ補正であってもよい。
【0026】
上記構成によれば、デジタル手振れ補正が実行されている状態でデジタル歪曲補正が実行されてしまう状況を好適に防止することが可能となる。例えば、原理的に撮像装置の画角が狭くなってしまうデジタル手振れ補正が実行される場合に、撮像装置の画角を広げるデジタル歪曲補正が実行される必要がない。寧ろ、デジタル歪曲補正とデジタル手振れ補正の両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタル手振れ補正が実行される場合に、デジタル歪曲補正が停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0027】
また、前記第１のデジタル画像処理は、デジタル手振れ補正であってもよい。前記第２のデジタル画像処理は、デジタル歪曲補正であってもよい。
【0028】
上記構成によれば、デジタル歪曲補正が実行されている状態でデジタル手振れ補正が実行されてしまう状況を好適に防止することが可能となる。例えば、撮像装置の画角を広げるデジタル歪曲補正が実行される場合に、原理的に撮像装置の画角が狭くなってしまうデジタル手振れ補正を実行する必要はない。寧ろ、デジタル歪曲補正とデジタル手振れ補正の両方が実行されることで、撮像装置のプロセッサの演算負荷が増大してしまうため、携帯用の撮像装置のバッテリ消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。上記構成によれば、デジタル歪曲補正が実行される場合に、デジタル手振れ補正が停止するため、携帯用の撮像装置のユーザビリティを向上させることができる。
【0029】
また、前記撮像装置は、前記第１のデジタル画像処理を停止する際に、その旨をユーザに通知するように構成されてもよい。
【0030】
上記構成によれば、ユーザは、第１のデジタル画像処理の停止を確実に認識することができる。
【0031】
また、前記撮像装置は、前記撮像装置に対する入力操作に応じて、前記第２のデジタル画像処理を実行するように構成されてもよい。
【0032】
上記構成によれば、撮像装置を保持した現場の作業員等が、第２のデジタル画像処理を手動で実行させることができる。
【0033】
また、前記撮像装置は、通信ネットワークを通じて前記撮像装置に通信可能に接続されたユーザ端末に対する入力操作に応じて、前記第２のデジタル画像処理を実行するように構成されてもよい。
【0034】
上記構成によれば、ユーザ端末を操作する現場の監督者等が、遠隔操作を通じて第２のデジタル画像処理を実行させることができる。
【0035】
また、前記撮像装置は、前記撮像装置が移動していることを決定し、前記撮像装置が移動しているとの決定に応じて、前記デジタル手振れ補正を実行する、ように構成されてもよい。
【0036】
上記構成によれば、撮像装置が移動していることが決定された場合に、デジタル手振れ補正が実行されるため、ユーザの移動中において、映像データのブレが抑制されると共に、第２のデジタル画像処理とデジタル手振れ補正の両方が同時に実行されてしまう状況を好適に防止することが可能となる。
【0037】
また、前記撮像装置は、前記撮像装置が移動していないことを決定し、前記撮像装置が移動していないことの決定に応じて、前記デジタル手振れ補正を停止する、ように構成されてもよい。
【0038】
上記構成によれば、ユーザが移動していない場合に、デジタル手振れ補正が停止するため、デジタル手振れ補正と第２のデジタル画像処理が同時に実行されてしまう状況を好適に防止することが可能となる。
【0039】
本開示の他の態様に係る携帯用の撮像装置は、撮影を通じて映像データを取得し、前記撮像装置が移動しているかどうかを判定し、前記撮像装置が移動している場合に、前記デジタル手振れ補正を実行し、前記撮像装置が移動していない場合に、前記デジタル手振れ補正を停止する、ように構成されている。
【0040】
上記構成によれば、撮像装置が移動している場合に、デジタル手振れ補正が実行される一方で、撮像装置が移動していない場合に、デジタル手振れ補正が停止する。このように、ユーザの移動中において映像データのブレを抑制することが可能となる。その一方で、撮像装置が移動していない場合にデジタル手振れ補正が停止するため、撮像装置に内蔵されたプロセッサの演算負荷の増大を抑制することが可能となる。したがって、携帯用の撮像装置のユーザビリティを向上させることができる。
【0041】
本開示の一態様に係る映像処理システムは、携帯用の撮像装置と、前記撮像装置に通信可能に接続されたサーバと、前記サーバに通信可能に接続されたユーザ端末とを備える。前記映像処理システムは、撮影を通じて映像データを取得し、前記映像データに対して第１のデジタル画像処理を実行し、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、ように構成されている。
【0042】
上記構成によれば、第１のデジタル画像処理が実行されている状態で第２のデジタル画像処理が映像データに対して実行される場合に、第１のデジタル画像処理が停止される。このように、互いに異なる２つのデジタル画像処理が同時に実行されてしまう状況を好適に防止することが可能となり、ユーザビリティが向上した映像処理システムを提供することができる。
【0043】
本開示の一態様に係る映像処理方法は、撮影を通じて映像データを取得するステップと、前記映像データに対して第１のデジタル画像処理を実行するステップと、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、を含む。
【0044】
本開示の一態様に係る映像処理プログラムは、撮影を通じて映像データを取得するステップと、前記映像データに対して第１のデジタル画像処理を実行するステップと、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止するステップと、をコンピュータに実行させる。
【発明の効果】
【0045】
本開示によれば、ユーザビリティが向上した携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムを提供することできる。特に、本開示によれば、互いに異なる２つのデジタル画像処理の機能を有効化させてしまう状況を好適に防止可能な携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムを提供することができる。
【図面の簡単な説明】
【0046】
【図1】本開示の実施形態（以下、本実施形態）に係る映像処理システムの構成の一例を示す図である。
【図2】カメラのハードウェア構成の一例を示す図である。
【図3】サーバのハードウェア構成の一例を示す図である。
【図4】ユーザ端末のハードウェア構成の一例を示す図である。
【図5】カメラの揺れによってカメラの視野が変化する様子を説明するための図である。
【図6】デジタル手振れ補正の原理を説明するための図である。
【図7】デジタル手振れ補正によってカメラの画角が狭くなることを説明するための図である。
【図8】カメラの視野内に存在するズーム領域を示す図である。
【図9】デジタルズームを通じてズーム領域が拡大表示された映像データを示す図である。
【図10】デジタル歪曲補正を説明するための図である。
【図11】デジタルズームの実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。
【図12】カメラの背面に設けられた表示部の一例を示す図である。
【図13】カメラの表示部に表示された映像補正設定画面の一例を示す図である。
【図14】デジタル手振れ補正を停止する旨を示すメッセージの一例を示す図である。
【図15】デジタルズームの実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。
【図16】デジタル歪曲補正（デジタル広角補正）を停止する旨を示すメッセージの一例を示す図である。
【図17】デジタル手振れ補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。
【図18】デジタルズームを停止する旨を示すメッセージの一例を示す図である。
【図19】デジタル歪曲補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。
【図20】デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。
【図21】デジタル歪曲補正の実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。
【図22】カメラの移動に応じてデジタル手振れ補正を実行するとともにデジタルズームを停止する処理を説明するためのフローチャートである。
【図23】カメラの移動に応じてデジタル手振れ補正機能をＯＮ/ＯＦＦ設定する処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0047】
以下、本実施形態に係る映像処理システム１について図面を参照しながら説明する。図１は、本実施形態に係る映像処理システム１の構成の一例を示す図である。図１に示すように、映像処理システム１は、カメラ２ａ～２ｃと、サーバ３と、ユーザ端末４と、外部サーバ５とを備える。これらは通信ネットワーク６に接続されている。カメラ２ａ～２ｃの各々は、通信ネットワーク６を介してサーバ３に通信可能に接続されている。ユーザ端末４は、主に現場監督により利用されるものであり、通信ネットワーク６を介してサーバ３に通信可能に接続されている。
【0048】
カメラ２ａ～２ｃ（撮像装置の一例）は、携帯用のカメラである。カメラ２ａは、作業員Ｔａの身体の一部に装着されている又は作業員Ｔａによって把持されている。同様に、カメラ２ｂは、作業員Ｔｂの身体の一部に装着されている又は作業員Ｔｂによって把持されている。カメラ２ｃは、作業員Ｔｃの身体の一部に装着されている又は作業員Ｔｃによって把持されている。各カメラ２ａ～２ｃは、例えば、建設現場を示す映像データを取得するように構成されてもよい。作業員Ｔａ～Ｔｃは、現場監督の指示に従って作業を行う建設現場の作業員であってもよい。
【0049】
尚、本実施形態では、各カメラ２ａ～２ｃは、単独のカメラ製品として説明されているが、スマートフォンやタブレット等の携帯通信端末に組み込まれていてもよい。以下の説明では、カメラ２ａ～２ｃを総称して単にカメラ２という場合がある。また、作業員Ｔａ～Ｔｃを総称して単に作業員Ｔという場合がある。
【0050】
通信ネットワーク６は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。
【0051】
次に、図２を参照して、カメラ２（カメラ２ａ～２ｃ）のハードウェア構成について以下に説明する。カメラ２ａ～２ｃは同一のハードウェア構成を有するものとする。携帯用のカメラ２は、カメラ２の周辺環境を示す映像データを取得すると共に、当該取得された映像データを通信ネットワーク６を介してサーバ３に送信するように構成されている。
【0052】
図２に示すように、カメラ２は、制御部２０と、記憶装置２１と、位置情報取得部２２と、慣性センサ２３と、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）３４と、通信部２４と、入力操作部２５とを備える。カメラ２は、光学系２６と、撮像素子２７と、表示部２８と、バッテリ２９と、バッテリ制御部３０と、音声入出力部３１とをさらに備える。光学系２６とバッテリ２９を除くこれらの要素は通信バス３２に接続されている。
【0053】
制御部２０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。各種プログラムには、本実施形態に係る一連の映像処理方法を実行する映像処理プログラムが含まれていてもよい。プロセッサは、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のうちの少なくとも一つにより構成される。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。プロセッサは、記憶装置２１又はＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。特に、プロセッサは、記憶装置３２又はＲＯＭに組み込まれた映像処理プログラムをＲＡＭ上に展開することで、後述するデジタル画像処理に関連する一連の処理を実行してもよい。また、制御部２０は、メモリとプロセッサとから構成されるノイマン型コンピュータに加えて、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の非ノイマン型コンピュータをさらに備えてもよい。
【0054】
記憶装置２１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データ（映像データや位置情報等）を格納するように構成されている。位置情報取得部２２は、カメラ２の現在位置（経度θ、緯度φ）に関する情報を取得するように構成されており、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機である。例えば、位置情報取得部２２は、所定の時間間隔（例えば、１０秒）毎にカメラ２の現在位置に関する情報を取得してもよい。
【0055】
慣性センサ２３は、カメラ２の移動に関連する移動データを取得するように構成されている。慣性センサ２３は、例えば、カメラ２の加速度を示す加速度データを取得するように構成された加速度センサを備えてもよい。慣性センサ２３は、カメラ２の角速度を示す角速度データを取得するように構成されたジャイロセンサをさらに備えてもよい。特に、加速度センサは、カメラ２に設定された三軸方向（Ｘ軸方向、Ｙ軸方向、Ｚ軸方向）における加速度を示す加速度データを取得するように構成されてもよい。ジャイロセンサは、カメラ２の三軸方向（Ｘ軸方向、Ｙ軸方向、Ｚ軸方向）回りの角速度（特に、ロール角、ピッチ角、ヨー角の角速度）を示す角速度データを取得するように構成されてもよい。
【0056】
慣性センサ２３によって取得された移動データは、加速度データであってもよいし、加速度データ及び角速度データを含んでもよい。制御部２０は、慣性センサ２３から取得された移動データに基づいて、カメラ２の移動方向及び移動距離を推定することができる。また、制御部２０は、移動データに基づいて、カメラ２の姿勢角度を推定することができる。このように、後述するように、制御部２０は、移動データに基づいて、映像データに生じるブレを電子的に抑制するためのデジタル手振れ補正（電子式の手振れ補正）を実行することができる。ＲＴＣ３４は、現在時刻を示す時刻情報を取得するように構成されている。
【0057】
通信部２４は、カメラ２を通信ネットワーク６に接続するように構成されている。通信部２４は、例えば、基地局や無線ＬＡＮルータ等の外部機器と無線通信するための無線通信モジュールを含んでいる。無線通信モジュールは、送受信アンテナと、無線送受信回路とを備える。無線通信モジュールは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）を用いた第Ｘ世代移動体通信システム（例えば、ＬＴＥ等の第４世代移動通信システム）に対応する無線通信モジュールであってもよい。
【0058】
入力操作部２５は、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。入力操作部２５は、例えば、カメラ２の筐体３３（図１２参照）に設けられた複数の操作ボタンを含んでもよい。また、入力操作部２５は、表示部２８に重ねて配置されたタッチパネルを含んでもよい。
【0059】
光学系２６は、複数の光学レンズとカラーフィルタ（ＲＧＢカラーフィルタ）によって構成されており、映像を形成する光を撮像素子２７に向けて導くように構成されている。撮像素子２７は、カメラ２の周辺環境を示す映像を撮像するように構成されている。特に、撮像素子２７は、カメラ２の周辺環境を示す映像信号を生成するように構成されており、イメージセンサと、センサ駆動処理回路とを備える。
【0060】
イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（相補型ＭＯＳ）等によって構成される。センサ駆動処理回路は、イメージセンサによって光電変換された映像信号（アナログ信号）を処理するように構成され、例えば、増幅器及びＡＤ変換器を含む。制御部２０は、撮像素子２７から送信された映像信号（デジタル信号）に基づいて映像データ（画像データの一例）を生成する。映像データは、複数の静止画像（フレーム）によって構成されており、映像データのフレームレートは、例えば、３０ｆｐｓである。
【0061】
また、カメラ２の映像データの各フレームは、当該フレームが取得された時刻（フレーム取得時刻）と関連付けられてもよい。また、位置情報取得部２２により取得されたカメラ２の各位置情報は、当該位置が取得された時刻（位置取得時刻）と関連付けられてもよい。
【0062】
表示部２８は、液晶ディスプレイ又は有機ＥＬディスプレイ等の映像表示ディスプレイと、映像表示ディスプレイを駆動制御するように構成された映像表示回路とを含む。表示部２８には映像データや各種設定画面（後述する）が表示される。図１２に示すように、表示部２８は、カメラ２の背面側に設けられてもよい。
【0063】
バッテリ２９は、カメラ２に電気的エネルギを供給するように構成されており、例えば、充電式電池である。バッテリ制御部３０は、バッテリ２９の充放電状態を監視・制御するように構成されている。音声入出力部３１は、カメラ２の周囲の音声を示す音声信号を生成するように構成された音声入力部（例えば、マイクロフォン）と、音声データに基づいて音声を外部に向けて出力する音声出力部（例えば、スピーカー）とを備える。
【0064】
カメラ２は、通信ネットワーク６を介してカメラ２の周辺環境を示す映像データ（映像データストリーム）をサーバ３にリアルタイムに送信することができる。また、カメラ２は、通信ネットワーク６を介してカメラ２の位置情報およびカメラ２の移動データをサーバ３に送信することができる。
【0065】
次に、図３を参照してサーバ３のハードウェア構成について以下に説明する。サーバ３は、各カメラ２ａ～２ｃに関連するカメラ情報テーブルと、映像データと、各ユーザに関連するユーザ情報テーブルとを管理する管理サーバとして機能する。カメラ情報テーブルは、各カメラのネットワークアドレス（例えば、ＩＰアドレス）、識別情報、設定情報、および位置情報を含んでもよい。ユーザ情報テーブルは、各ユーザの属性情報および契約情報と、各ユーザに関連付けられたカメラの識別情報とを含んでもよい。
【0066】
さらに、サーバ３は、映像表示画面をユーザ端末４のＷＥＢブラウザに表示するためのデータ（例えば、ＨＴＭＬファイル、ＣＳＳファイル、プログラムファイル）を送信するＷＥＢサーバとしても機能する。このように、サーバ３は、ＳａａＳ（Ｓｙｓｔｅｍ ａｓ ａ Ｓｅｒｖｉｃｅ）を提供するためのサーバとして機能しており、複数のサーバによって構成されていてもよい。また、サーバ３は、オンプレミスで構築されてもよいし、クラウドサーバであってもよい。
【0067】
サーバ３は、通信ネットワーク６を介してカメラ２及びユーザ端末４に通信可能に接続されており、ユーザ端末４からのリクエストに応じてカメラ２の映像データを送信するように構成されている。サーバ３は、制御部３５と、記憶装置３６と、通信部３７と、入力操作部３８と、表示部３９とを備える。これらの要素は通信バス４６に接続されている。
【0068】
制御部３５は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。
【0069】
記憶装置３６は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。記憶装置３６には、各種データベースが構築されている。特に、記憶装置３６には、各カメラに関連するカメラ情報テーブル、各カメラによって撮像された映像データ、各ユーザに関連するユーザ情報テーブルが保存されてもよい。
【0070】
通信部３７は、通信ネットワーク６上の外部端末と通信するための各種有線通信モジュールを含んでもよい。入力操作部３８は、例えば、タッチパネル、マウス、及び／又はキーボード等であって、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。表示部３９は、例えば、映像表示ディスプレイと映像表示回路とによって構成されている。
【0071】
次に、図４を参照してユーザ端末４のハードウェア構成について以下に説明する。ユーザ端末４は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はユーザ端末４のユーザＵに装着されたウェアラブルデバイス（例えば、ＡＲグラスやヘッドマウントディスプレイ）であってもよい。ユーザ端末４は、ＷＥＢブラウザを有する。ユーザ端末４は、制御部４０と、記憶装置４１と、通信部４２と、入力操作部４３と、表示部４４とを備える。これらの要素は通信バス４５に接続されている。
【0072】
制御部４０は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。
【0073】
記憶装置４１は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。通信部４２は、ユーザ端末４を通信ネットワーク６に接続するように構成されている。通信部４２は、無線通信モジュール及び／又は有線通信モジュールを備える。入力操作部４３は、例えば、タッチパネル、マウス、及び／又はキーボード等であって、ユーザＵの入力操作を受け付けると共に、ユーザＵの入力操作に応じた操作信号を生成するように構成されている。表示部４４は、例えば、映像表示ディスプレイと映像表示回路とによって構成されている。カメラ２の映像データとマップを含む映像表示画面が表示部４４に表示される。ユーザＵは、例えば、建設現場の状況を遠隔から監督する建設会社の監督者であってもよい。
【0074】
外部サーバ５は、通信ネットワーク６を介してマップ情報をユーザ端末４に提供するように構成されている。具体的には、外部サーバ５は、カメラ２ａ～２ｃの位置情報をユーザ端末４から受信した上で、カメラ２ａ～２ｃが存在する領域をカバーするマップをユーザ端末４に送信する。外部サーバ５によって提供されるマップは、例えば、アメリカ合衆国カリフォルニア州に本社があるＧｏｏｇｌｅ ＬＬＣ社が提供するＧｏｏｇｌｅマップであってもよい。
【0075】
本実施形態に係る映像処理システム１は、建設現場の状況を遠隔のユーザ端末４からリアルタイムで監視することを可能とする。また、映像処理システム１は、建設現場以外の任意の作業現場をユーザ端末４からリアルタイムで監視することができる。
【0076】
（デジタル手振れ補正）
次に、図５～図７を参照して、カメラ２によって撮影された映像データのブレを電子的に抑制するためのデジタル画像処理であるデジタル手振れ補正（電子式の手振れ補正）について以下に簡単に説明する。作業員Ｔが建設現場内を移動している間では、カメラ２を把持する作業員Ｔの身体（例えば、手）の揺れに連動してカメラ２の映像データにブレ（手振れ）が生じてしまう。この結果、ユーザ端末４上に表示される映像データにブレが生じてしまうため、ユーザＵ（例えば、建設現場の監督者）は、遠隔から建設現場の状況を正確に把握し難くなる。寧ろ、映像データのブレによってユーザＵの映像酔いを引き起こす可能性がある。このため、作業員Ｔが移動している間では、デジタル手振れ補正が映像データに対して実行されることが好ましい。尚、本実施形態では、デジタル手振れ補正が実行される一方で、レンズ等の光学系２６若しくは撮像素子２７の上下方向（光軸方向に対して垂直となる方向）の位置を適宜調整する光学式の手振れ補正は実行されないものとする。
次に、図５～図７を参照して、カメラ２によって撮影された映像データのブレを電子的に抑制するためのデジタル画像処理であるデジタル手振れ補正（電子式の手振れ補正）について以下に簡単に説明する。作業員Ｔが建設現場内を移動している間では、カメラ２を把持する作業員Ｔの身体（例えば、手）の揺れに連動してカメラ２の映像データにブレ（手振れ）が生じてしまう。この結果、ユーザ端末４上に表示される映像データにブレが生じてしまうため、ユーザＵ（例えば、建設現場の監督者）は、遠隔から建設現場の状況を正確に把握し難くなる。寧ろ、映像データのブレによってユーザＵの映像酔いを引き起こす可能性がある。このため、作業員Ｔが移動している間では、デジタル手振れ補正が映像データに対して実行されることが好ましい。尚、本実施形態では、デジタル手振れ補正が実行される一方で、レンズ等の光学系２６若しくは撮像素子２７の上下方向（光軸方向に対して垂直となる方向）の位置を適宜調整する光学式の手振れ補正は実行されないものとする。
【0077】
図５に示すように、作業員Ｔの身体の揺れに連動して、カメラ２の視野ＶがＶ１からＶ２に変動するものとする。ここで、カメラ２の視野Ｖ１，Ｖ２内に存在する撮影対象物Ｈ１は固定的に配置され、移動しないものとする。この場合、視野Ｖ１に対応するフレームＦ１内に表示された撮影対象物Ｈ１の位置は、視野Ｖ２に対応するフレームＦ２内に表示された撮影対象物Ｈ１の位置とは異なってしまう。このように、カメラ２の視野Ｖの時間変動に応じて映像データ内にブレ（撮影対象物の位置変動）が生じてしまう。
【0078】
デジタル手振れ補正では、制御部２０は、慣性センサ２３から取得された移動データに基づいて、カメラ２の視野Ｖの変動量Ｃを推定する。変動量Ｃは、視野Ｖの移動方向及び移動距離により構成される。本例では、慣性センサ２３から取得された移動データに基づいて、制御部２０は、視野Ｖ１と視野Ｖ２との間の変動量Ｃを推定する。制御部２０は、視野Ｖの変動量Ｃを推定した上で、図６に示すように、フレームＦ２を構成する画素データ群の位置を変動量Ｃだけシフト（平行移動）させる。このように、デジタル手振れ補正が映像データに対して実行された後では、フレームＦ１内に表示された撮影対象物Ｈ１の位置とフレームＦ２内に表示された撮影対象物Ｈ１の位置は互いに一致するため、映像データのブレが抑制される。
【0079】
デジタル手振れ補正ではフレームを構成する画素データ群が視野Ｖの変動量Ｃに応じてシフトするため、図７に示すように、デジタル手振れ補正が実行された後のカメラ２の画角Ａ２は、デジタル手振れ補正が実行される前のカメラ２の画角Ａ１よりも小さくなる。即ち、視野Ｖの変動量Ｃの最大値に応じてカメラ２の画角Ａ２が適宜設定されている。映像データに対してデジタル手振れ補正が実行された場合、画角Ａ２の映像データがサーバ３に送信されると共に、カメラ２の表示部２８に表示される。
【0080】
（デジタルズーム）
次に、図８及び図９を参照することで、カメラ２の視野内に存在する一部の領域を電子的に拡大表示するデジタル画像処理であるデジタルズームについて以下に簡単に説明する。ユーザＵが建設現場における特定の作業エリアを重点的に監視したい場合には、デジタルズーム機能を通じて当該特定の作業エリアが拡大表示されることが好ましい。尚、本実施形態では、デジタルズーム（電子式ズーム）が実行される一方で、レンズと撮像素子との間の焦点距離を調整する光学式のズームは実行されないものとする。
次に、図８及び図９を参照することで、カメラ２の視野内に存在する一部の領域を電子的に拡大表示するデジタル画像処理であるデジタルズームについて以下に簡単に説明する。ユーザＵが建設現場における特定の作業エリアを重点的に監視したい場合には、デジタルズーム機能を通じて当該特定の作業エリアが拡大表示されることが好ましい。尚、本実施形態では、デジタルズーム（電子式ズーム）が実行される一方で、レンズと撮像素子との間の焦点距離を調整する光学式のズームは実行されないものとする。
【0081】
図８に示すように、カメラ２の視野Ｖ３内に存在する撮影対象物Ｈ２がデジタルズームによって拡大表示されるものとする。この場合、制御部２０は、視野Ｖ３に相当する映像データ（各フレーム）を取得した上で、当該取得された映像データから撮影対象物Ｈ２を含むズーム領域Ｒ１を構成する画素データ群を抽出する（換言すれば、ズーム領域Ｒ１以外の映像データの画素データ群がトリミングされる）。その後、制御部２０は、ズーム領域Ｒ１が拡大表示された映像データを生成する。ここで、図９に示すように、ズーム領域Ｒ１が拡大表示された映像データのサイズは、視野Ｖ３に対応する当初の映像データのサイズと一致する。このように、デジタルズーム機能を通じて視野Ｖ３内の一部の領域（本例では、撮影対象物Ｈ２を含むズーム領域Ｒ１）を拡大表示することが可能となる。映像データに対してデジタルズームが実行された場合、ズーム領域Ｒ１が拡大表示された映像データがサーバ３に送信されると共に、カメラ２の表示部２８に表示される。
【0082】
（デジタル歪曲補正）
次に、図１０を参照することで、カメラ２のレンズによって生じる歪曲収差、色収差、回折、周辺減光等を電子的に補正するためのデジタル画像処理であるデジタル歪曲補正について以下に簡単に説明する。図１０に示すように、撮像素子２７の全ての画素によって構成された映像データ（各フレーム）では、映像データの四隅の周辺において歪曲収差、色収差、回折、周辺減光等のレンズに起因する歪みＧが生じてしまう。ここで、撮像素子２７の全ての画素によって構成される映像データの画角はＡ２となる。デジタル歪曲補正が実行されない場合では、画角Ａ２の映像データから画角Ａ１（Ａ１＜Ａ２）の映像データが抽出される（換言すれば、歪みＧを含む周縁領域の画素データ群がトリミングされる）。このように、デジタル歪曲補正が実行されない場合には、画角Ａ１の映像データがサーバ３に送信されると共に、表示部２８に表示される。
次に、図１０を参照することで、カメラ２のレンズによって生じる歪曲収差、色収差、回折、周辺減光等を電子的に補正するためのデジタル画像処理であるデジタル歪曲補正について以下に簡単に説明する。図１０に示すように、撮像素子２７の全ての画素によって構成された映像データ（各フレーム）では、映像データの四隅の周辺において歪曲収差、色収差、回折、周辺減光等のレンズに起因する歪みＧが生じてしまう。ここで、撮像素子２７の全ての画素によって構成される映像データの画角はＡ２となる。デジタル歪曲補正が実行されない場合では、画角Ａ２の映像データから画角Ａ１（Ａ１＜Ａ２）の映像データが抽出される（換言すれば、歪みＧを含む周縁領域の画素データ群がトリミングされる）。このように、デジタル歪曲補正が実行されない場合には、画角Ａ１の映像データがサーバ３に送信されると共に、表示部２８に表示される。
【0083】
一方、制御部２０が画角Ａ２の映像データ（換言すれば、撮像素子２７の全ての画素により構成された映像データ）に対してデジタル歪曲補正を実行する場合、レンズに起因する歪みＧが映像データから除去又は抑制されるため、画角Ａ１よりも大きな画角Ａ２の映像データをサーバ３に送信することができる。このように、デジタル歪曲補正では、サーバ３に送信される映像データの画角を大きくすることができるため、以降の説明ではデジタル歪曲補正をデジタル広角補正という場合がある。
【0084】
（第１実施例：デジタルズームの実行に応じたデジタル手振れ補正の停止）
次に、図１１～図１４を参照して、デジタルズームの実行に応じてデジタル手振れ補正を停止する処理について以下に説明する。図１１は、デジタルズームの実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。図１２は、カメラ２の背面に設けられた表示部２８の一例を示す図である。図１３は、カメラ２の表示部２８に表示された映像補正設定画面５２の一例を示す図である。図１４は、デジタル手振れ補正を停止する旨を示すメッセージ５０の一例を示す図である。
次に、図１１～図１４を参照して、デジタルズームの実行に応じてデジタル手振れ補正を停止する処理について以下に説明する。図１１は、デジタルズームの実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。図１２は、カメラ２の背面に設けられた表示部２８の一例を示す図である。図１３は、カメラ２の表示部２８に表示された映像補正設定画面５２の一例を示す図である。図１４は、デジタル手振れ補正を停止する旨を示すメッセージ５０の一例を示す図である。
【0085】
図１１に示すように、ステップＳ１において、カメラ２の制御部２０（図２参照）は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。例えば、カメラ２に対する作業員Ｔの入力操作に応じて映像データの取得が開始される。取得された映像データは、通信ネットワーク６を通じてサーバ３に送信されると共に、カメラ２の背面に設けられた表示部２８に表示される（図１２参照）。次に、ステップＳ２において、制御部２０は、作業員Ｔの入力操作に応じてデジタル手振れ補正を実行する。具体的には、図１３に示すように、映像補正設定画面５２が表示部２８に表示された状態で、作業員Ｔが「手振れ補正」の項目を選択することで、デジタル手振れ補正が制御部２０によって実行される。
【0086】
ステップＳ３において、制御部２０は、デジタルズームを実行するための作業員Ｔの入力操作を受け付ける。具体的には、カメラ２の筐体３３に設けられた操作ボタン等を作業員Ｔが操作することで、カメラ２の視野内に存在する所定の領域を拡大表示することができる。作業員Ｔがデジタルズームの操作を行っている間、デジタルズーム設定画面５３が表示部２８に表示されてもよい（図１４参照）。作業員Ｔは、例えば、デジタルズームの倍率を１倍から８倍の間で設定することができる。デジタルズームの倍率を示すズーム倍率メータがデジタルズーム設定画面５３上に表示されてもよい。
【0087】
次に、ステップＳ４において、制御部２０は、デジタルズームを実行するとともに、デジタル手振れ補正を停止する。具体的には、デジタルズームの実行に応じて所定のズーム領域が拡大表示された映像データ（以下、ズーム映像）が通信ネットワーク６を介してサーバ３に送信されると共に、表示部２８にリアルタイムで表示される。ズーム映像は、デジタルズーム設定画面５３の領域内に表示されてもよい。また、デジタルズームの倍率の変動に応じて、デジタルズーム設定画面５３に表示されたズーム倍率メータの表示態様が変更されてもよい。
【0088】
ステップＳ５において、制御部２０は、デジタル手振れ補正を停止する旨を示すメッセージ５０をデジタルズーム設定画面５３上に表示する（図１４参照）。尚、ステップＳ５の処理は、ステップＳ４の処理と同時に実行されてもよいし、ステップＳ４の処理の前に実行されてもよい。さらに、デジタル手振れ補正を停止する旨を示すメッセージが視覚的及び／又は可聴的に作業員Ｔに提示されてもよい。例えば、デジタル手振れ補正を停止する旨を示す音声メッセージがカメラ２の音声出力部から出力されてもよい。
【0089】
本実施形態によれば、デジタル手振れ補正が実行されている状態でデジタルズームが映像データに対して実行される場合に、デジタル手振れ補正が停止される。このように、デジタルズームが実行されている状態でデジタル手振れ補正が実行されてしまう状況を好適に防止することが可能となる。例えば、デジタルズーム機能を通じて視野内の一部エリアが拡大表示される場合には、カメラ２は、カメラ三脚等によって所定の位置に固定的に配置されているため、映像データのブレを抑制するためのデジタル手振れ補正を実行する必要は低い。寧ろ、デジタルズームとデジタル手振れ補正の両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、バッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。特に、映像データの送信遅延に伴い、ユーザ端末４上に映像データがスムーズに表示されない虞がある。本実施形態では、デジタルズームが実行される場合に、デジタル手振れ補正が停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタル手振れ補正を停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0090】
また、本実施形態によれば、デジタル手振れ補正が停止する場合に、デジタル手振れ補正を停止する旨の通知（視覚的メッセージ又は音声メッセージ）が作業員Ｔに提示されるので、作業員Ｔは、デジタル手振れ補正の停止を明確に把握することができる。
【0091】
また、本例では、カメラ２を保持した作業員Ｔ（第１ユーザの一例）の入力操作に応じて、デジタル手振れ補正及びデジタルズームが実行されるが、これらのデジタル画像処理は、ユーザ端末４を操作するユーザＵ（第２ユーザの一例）の遠隔の入力操作に応じて実行されてもよい。この場合、デジタル手振れ補正を指示する指示信号がユーザ端末４からサーバ３を介してカメラ２に送信されてもよい。同様に、デジタルズームを指示する指示信号がユーザ端末４からサーバ３を介してカメラ２に送信されてもよい。カメラ２は、ユーザ端末４から送信された指示信号に従って、デジタル手振れ補正及びデジタルズームを実行することができる。また、デジタル手振れ補正の停止を示す停止情報は、カメラ２からサーバ３を介してユーザ端末４に送信されてもよい。この場合、ユーザＵは、カメラ２から送信された停止情報を通じて、デジタル手振れ補正の停止を明確に把握することができる。
【0092】
尚、制御部２０は、作業員Ｔの入力操作に従ってデジタルズームを終了した後に、デジタル手振れ補正を再開させてもよい。
【0093】
（第２実施例：デジタルズームの実行に応じたデジタル歪曲補正の停止）
次に、図１５及び図１６を参照して、デジタルズームの実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図１５は、デジタルズームの実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。図１６は、デジタル歪曲補正（デジタル広角補正）の停止を示すメッセージ５４の一例を示す図である。
次に、図１５及び図１６を参照して、デジタルズームの実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図１５は、デジタルズームの実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。図１６は、デジタル歪曲補正（デジタル広角補正）の停止を示すメッセージ５４の一例を示す図である。
【0094】
図１５に示すように、ステップＳ１０において、制御部２０は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ１１において、制御部２０は、作業員Ｔの入力操作に応じてデジタル歪曲補正（デジタル広角補正）を実行する。具体的には、図１３に示すように、映像補正設定画面５２が表示部２８に表示された状態で、作業員Ｔが「広角補正」の項目を選択することで、デジタル歪曲補正が制御部２０によって実行される。
【0095】
ステップＳ１２において、制御部２０は、デジタルズームを実行するための作業員Ｔの入力操作を受け付ける。ステップＳ１３において、制御部２０は、デジタルズームを実行するとともに、デジタル歪曲補正を停止する。具体的には、ズーム映像が通信ネットワーク６を介してサーバ３に送信されると共に、表示部２８にリアルタイムで表示される。ズーム映像がデジタルズーム設定画面５３の領域内に表示されてもよい。
【0096】
ステップＳ１４において、制御部２０は、デジタル歪曲補正を停止する旨を示すメッセージ５４をデジタルズーム設定画面５３上に表示する（図１６参照）。尚、ステップＳ１４の処理は、ステップＳ１３の処理と同時に実行されてもよいし、ステップＳ１３の処理の前に実行されてもよい。さらに、デジタル歪曲補正の停止を示すメッセージが視覚的及び／又は可聴的に作業員Ｔに対して提示されてもよい。例えば、デジタル歪曲補正を停止する旨を示す音声メッセージがカメラ２の音声出力部から出力されてもよい。
【0097】
本実施形態によれば、デジタル歪曲補正が実行されている状態でデジタルズームが映像データに対して実行される場合に、デジタル歪曲補正が停止される。このように、デジタルズームが実行されている状態でデジタル歪曲補正が実行されてしまう状況を好適に防止することが可能となる。例えば、デジタルズーム機能を通じて視野内の一部エリアが拡大表示される場合には、カメラ２の画角を広げるためのデジタル歪曲補正（デジタル広角補正）を実行する必要性はない。寧ろ、デジタルズームとデジタル歪曲補正の両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、バッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。特に、映像データの送信遅延に伴い、ユーザ端末４上に映像データがスムーズに表示されない虞がある。本実施形態では、デジタルズームが実行される場合に、デジタル歪曲補正が停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタル歪曲補正を停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0098】
尚、制御部２０は、作業員Ｔの入力操作に従ってデジタルズームを終了した後に、デジタル歪曲補正を再開させてもよい。
【0099】
（第３実施例：デジタル手振れ補正の実行に応じたデジタルズームの停止）
次に、図１７及び図１８を参照することで、デジタル手振れ補正の実行に応じてデジタルズームを停止する処理について以下に説明する。図１７は、デジタル手振れ補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。図１８は、デジタルズームを停止する旨を示すメッセージ６０の一例を示す図である。
次に、図１７及び図１８を参照することで、デジタル手振れ補正の実行に応じてデジタルズームを停止する処理について以下に説明する。図１７は、デジタル手振れ補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。図１８は、デジタルズームを停止する旨を示すメッセージ６０の一例を示す図である。
【0100】
図１７に示すように、ステップＳ２０において、制御部２０は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ２１において、制御部２０は、作業員Ｔの入力操作（例えば、カメラ２の筐体３３に設けられた操作ボタンに対する入力操作）に応じてデジタルズームを実行する。ステップＳ２２において、制御部２０は、デジタル手振れ補正を実行するための作業員Ｔの入力操作を受け付ける。具体的には、図１３に示すように、映像補正設定画面５２が表示部２８に表示された状態で、作業員Ｔが「手振れ補正」の項目を選択することで、制御部２０は、デジタル手振れ補正を実行するための入力操作を受け付ける。
【0101】
ステップＳ２３において、制御部２０は、映像補正設定画面５２上に表示されたデジタルズームを停止する旨を示すメッセージ６０を表示する（図１８参照）。ステップＳ２４において、制御部２０は、作業員Ｔの入力操作に応じて、デジタル手振れ補正を実行するとともに、デジタルズームを停止する。具体的には、作業員Ｔが図１８に示す映像補正設定画面５２上に表示された「ステータス［手振れ補正］」又は「決定」の項目を選択したときに、制御部２０はデジタル手振れ補正を実行すると共に、デジタルズームを停止する。
【0102】
本実施形態によれば、デジタルズームが実行されている状態でデジタル手振れ補正が映像データに対して実行される場合に、デジタルズーム処理が停止される。このように、デジタル手振れ補正が実行されている状態でデジタルズーム処理が実行されてしまう状況を好適に防止することが可能となる。例えば、作業員Ｔが移動している間には、ユーザ端末４を操作するユーザＵは、視野内の周辺環境の一部エリアが拡大表示された映像データでは建設現場等の周辺環境の状況を正確に把握できない。このため、デジタルズーム機能が有効となっていることは好ましくはない。さらに、デジタル手振れ補正とデジタルズームの両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、カメラ２のバッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。特に、映像データの処理遅延にユーザ端末４上に映像データがスムーズに表示されない虞がある。本実施形態では、デジタル手振れ補正が実行されるときに（換言すれば、ユーザが移動するときに）、デジタルズーム機能が停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタルズームを停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0103】
（第４実施例：デジタル歪曲補正の実行に応じたデジタルズームの停止）
次に、図１９を参照することで、デジタル歪曲補正の実行に応じてデジタルズームを停止する処理について以下に説明する。図１９は、デジタル歪曲補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。
次に、図１９を参照することで、デジタル歪曲補正の実行に応じてデジタルズームを停止する処理について以下に説明する。図１９は、デジタル歪曲補正の実行に応じてデジタルズームを停止する処理を説明するためのフローチャートである。
【0104】
図１９に示すように、ステップＳ３０において、制御部２０は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ３１において、制御部２０は、作業員Ｔの入力操作（例えば、カメラ２の筐体３３に設けられた操作ボタンに対する入力操作）に応じてデジタルズームを実行する。ステップＳ３２において、制御部２０は、デジタル歪曲補正（デジタル広角補正）を実行するための作業員Ｔの入力操作を受け付ける。
【0105】
ステップＳ３３において、制御部２０は、デジタルズームを停止する旨を示すメッセージを表示部２８に表示する。ステップＳ３４において、制御部２０は、作業員Ｔの入力操作に応じて、デジタル歪曲補正を実行するとともに、デジタルズームを停止する。
【0106】
本例によれば、デジタル歪曲補正が実行されている状態でデジタルズームが実行されてしまう状況を好適に防止することが可能となる。例えば、カメラ２の画角を広げるデジタル歪曲補正が実行される場合には、デジタルズーム機能を通じて視野内の一部エリアが拡大表示される必要はない。寧ろ、デジタルズームとデジタル歪曲補正の両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、カメラ２のバッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。本例によれば、デジタル歪曲補正が実行される場合に、デジタルズームが停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタルズームを停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0107】
（第５実施例：デジタル手振れ補正の実行に応じたデジタル歪曲補正の停止）
次に、図２０を参照することで、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図２０は、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。
次に、図２０を参照することで、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図２０は、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理を説明するためのフローチャートである。
【0108】
図２０に示すように、ステップＳ４０において、制御部２０は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ４１において、制御部２０は、作業員Ｔの入力操作に応じてデジタル歪曲補正を実行する。ステップＳ４２において、制御部２０は、デジタル手振れ補正を実行するための作業員Ｔの入力操作を受け付ける。
【0109】
ステップＳ４３において、制御部２０は、デジタル歪曲補正を停止する旨を示すメッセージを表示部２８に表示する。ステップＳ４４において、制御部２０は、作業員Ｔの入力操作に応じて、デジタル手振れ補正を実行するとともに、デジタル歪曲補正を停止する。
【0110】
本例によれば、デジタル手振れ補正が実行されている状態でデジタル歪曲補正が実行されてしまう状況を好適に防止することが可能となる。例えば、原理的にカメラ２の画角が狭くなってしまうデジタル手振れ補正が実行される場合に、カメラ２の画角を広げるデジタル歪曲補正が実行する必要がない。寧ろ、デジタル歪曲補正とデジタル手振れ補正の両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、カメラ２のバッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。本例によれば、デジタル手振れ補正が実行される場合に、デジタル歪曲補正が停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタル歪曲補正を停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0111】
（第６実施例：デジタル歪曲補正の実行に応じたデジタル手振れ補正の停止）
次に、図２１を参照することで、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図２１は、デジタル歪曲補正の実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。
次に、図２１を参照することで、デジタル手振れ補正の実行に応じてデジタル歪曲補正を停止する処理について以下に説明する。図２１は、デジタル歪曲補正の実行に応じてデジタル手振れ補正を停止する処理を説明するためのフローチャートである。
【0112】
図２１に示すように、ステップＳ５０において、制御部２０は、撮影を通じてカメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ５１において、制御部２０は、作業員Ｔの入力操作に応じてデジタル手振れ補正を実行する。ステップＳ５２において、制御部２０は、デジタル歪曲補正を実行するための作業員Ｔの入力操作を受け付ける。
【0113】
ステップＳ５３において、制御部２０は、デジタル手振れ補正を停止する旨を示すメッセージを表示部２８に表示する。ステップＳ５４において、制御部２０は、作業員Ｔの入力操作に応じて、デジタル歪曲補正を実行するとともに、デジタル手振れ補正を停止する。
【0114】
本例によれば、デジタル歪曲補正が実行されている状態でデジタル手振れ補正が実行されてしまう状況を好適に防止することが可能となる。例えば、カメラ２の画角を広げるデジタル歪曲補正が実行される場合に、原理的にカメラ２の画角が狭くなってしまうデジタル手振れ補正を実行する必要はない。寧ろ、デジタル歪曲補正とデジタル手振れ補正の両方が実行されることで、カメラ２の制御部２０の演算負荷が増大してしまうため、カメラ２のバッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。本例によれば、デジタル歪曲補正が実行される場合に、デジタル手振れ補正が停止するため、カメラ２のユーザビリティを向上させることができる。特に、作業員Ｔは、デジタル手振れ補正を停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0115】
また、第１実施例から第６実施例では、２つのデジタル画像処理のうちの一方が実行されている状態で他方のデジタル画像処理が映像データに対して実行される場合に、一方のデジタル画像処理が停止される。このように、互いに異なる２つのデジタル画像処理が同時に実行されてしまう状況を好適に防止することが可能となる。例えば、２つの異なるデジタル画像処理の機能が有効である状態では、カメラ２の制御部２０の演算負荷が大きくなってしまい、カメラ２のバッテリ２９の電力消費量が大きくなると共に、映像データの処理遅延が生じる虞がある。したがって、ユーザビリティが向上したカメラ２を提供することができる。特に、作業員Ｔは、一方のデジタル画像処理を停止するための手動操作を行う必要がないため、カメラ２に対する作業員Ｔの入力操作の手間を減らすことができる。
【0116】
（第７実施例：デジタル手振れ補正の自動実行とデジタルズームの自動停止）
次に、図２２を参照することで、カメラ２の移動に応じてデジタル手振れ補正を実行するとともにデジタルズームを停止する処理について以下に説明する。図２２は、カメラ２の移動に応じてデジタル手振れ補正を実行するとともにデジタルズームを停止する処理を説明するためのフローチャートである。図２２に示す一連の処理は、慣性センサ２３によって取得された移動データに基づいてデジタル手振れ補正が実行される点において、図１７に示す一連の処理とは相違する。
次に、図２２を参照することで、カメラ２の移動に応じてデジタル手振れ補正を実行するとともにデジタルズームを停止する処理について以下に説明する。図２２は、カメラ２の移動に応じてデジタル手振れ補正を実行するとともにデジタルズームを停止する処理を説明するためのフローチャートである。図２２に示す一連の処理は、慣性センサ２３によって取得された移動データに基づいてデジタル手振れ補正が実行される点において、図１７に示す一連の処理とは相違する。
【0117】
図２２に示すように、ステップＳ６０において、制御部２０は、カメラ２の周辺環境を示す映像データの取得を開始する。ステップＳ６１において、制御部２０は、作業員Ｔの入力操作に応じてデジタルズームを実行する。ステップＳ６２において、制御部２０は、慣性センサ２３から取得された移動データ（特に、加速度データ）に基づいてカメラ２が移動していることを決定する。ステップＳ６３において、制御部２０は、カメラ２が移動しているとの決定に応じて、デジタル手振れ補正を実行すると共にデジタルズームを停止する旨のメッセージを作業員Ｔに視覚的及び／又は可聴的に提示する。例えば、当該メッセージは表示部２８に表示されてもよい。ステップＳ６４において、制御部２０は、デジタル手振れ補正を実行すると共に、デジタルズームを停止する。
【0118】
図２２に示す一連の処理によれば、カメラ２が移動していることが決定された場合に、デジタル手振れ補正が実行されると共に、デジタルズームが停止する。このように、作業員Ｔの移動中において、映像データのブレが抑制されると共に、デジタルズームが実行されてしまう状況を好適に防止することが可能となるため、カメラ２のユーザビリティを飛躍的に向上させることができる。
【0119】
尚、本例では、デジタルズームが最初に実行されているが、デジタルズームではなくデジタル歪曲補正が最初に実行されていてもよい。この場合も同様に、カメラ２が移動していることが決定された場合に、デジタル手振れ補正が実行されると共に、デジタル歪曲補正が停止する。このように、作業員Ｔの移動中において、映像データのブレが抑制されると共に、デジタル歪曲補正が実行されてしまう状況を好適に防止することが可能となる。
【0120】
また、デジタル手振れ補正が最初に実行されている場合では、制御部２０は、移動データに基づいてカメラ２が移動していないことが決定した上で、当該決定に応じてデジタル手振れ補正を停止してもよい。例えば、制御部２０は、カメラ２が移動していないことを決定した場合に、デジタル手振れ補正を停止しつつ、デジタル歪曲補正を実行してもよい。
【0121】
（第８実施例：カメラ２の移動に応じたデジタル手振れ補正機能の有効化／無効化）
次に、図２３を参照することで、カメラ２の移動に応じてデジタル手振れ補正機能をＯＮ/ＯＦＦ設定する処理について以下に説明する。図２３は、カメラ２の移動に応じてデジタル手振れ補正機能をＯＮ/ＯＦＦ設定する処理を説明するためのフローチャートである。
次に、図２３を参照することで、カメラ２の移動に応じてデジタル手振れ補正機能をＯＮ/ＯＦＦ設定する処理について以下に説明する。図２３は、カメラ２の移動に応じてデジタル手振れ補正機能をＯＮ/ＯＦＦ設定する処理を説明するためのフローチャートである。
【0122】
図２３に示すように、ステップＳ７０において、制御部２０は、映像データの取得を開始する。ステップＳ７１において、制御部２０は、慣性センサ２３から取得された移動データ（特に、加速度データ）に基づいてカメラ２が移動しているかどうかを判定する。制御部２０は、カメラ２が移動していると判定した場合に（ステップＳ７２でＹＥＳ）、ステップＳ７３においてデジタル手振れ補正機能をＯＮに設定する（デジタル手振れ補正機能の有効化）。一方で、制御部２０は、カメラ２が移動していないと判定した場合に（ステップＳ７２でＮＯ）、ステップＳ７４においてデジタル手振れ補正機能をＯＦＦに設定する（デジタル手振れ補正機能の無効化）。このように、ステップＳ７１からＳ７４の一連の処理が所定の時間間隔で繰り返し実行される。
【0123】
図２３に示す一連の処理によれば、カメラ２が移動しているかどうかが判定された上で、カメラ２が移動していない場合に、デジタル手振れ補正が停止する。このように、カメラ２が移動していない場合にデジタル手振れ補正が停止するため、制御部２０の演算負荷の増大を抑制することが可能となる。その一方で、カメラ２が移動している場合には、デジタル手振れ補正が実行されるため、作業員Ｔの移動中に映像データにブレが生じることが抑制される。したがって、カメラ２のユーザビリティを飛躍的に向上させることが可能となる。
【0124】
以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
【0125】
本実施形態では、上記の各実施例で説明された一連の処理がカメラ２の制御部２０によって実行されているが、これらのデジタル画像処理はカメラ２の制御部２０ではなくてサーバ３の制御部３５若しくはユーザ端末４の制御部４０によって実行されてもよい。この場合、撮像素子２７の全ての画素によって構成された映像データ及び移動データがカメラ２から通信ネットワーク６を介してサーバ３及びユーザ端末４に送信されてもよい。各実施例で説明された一連の処理がサーバ３によって実行される場合、サーバ３は、ユーザＵの入力操作を示す指示信号をユーザ端末４から受信した上で、当該受信した指示信号に応じて当該一連の処理を実行してもよい。各実施例で説明された一連の処理がユーザ端末４により実行される場合、ユーザ端末４は、ユーザＵの入力操作を示す指示信号に応じて当該一連の処理を実行してもよい。
【符号の説明】
【0126】
１：映像処理システム、２，２ａ，２ｂ，２ｃ：カメラ、３：サーバ、４：ユーザ端末、５：外部サーバ、６：通信ネットワーク、２０：制御部、２１：記憶装置、２２：位置情報取得部、２３：慣性センサ、２４：通信部、２５：入力操作部、２６：光学系、２７：撮像素子、２８：表示部、２９：バッテリ、３０：バッテリ制御部、３１：音声入出力部、３３：筐体、３４：ＲＴＣ、３５：制御部、３６：記憶装置、３７：通信部、３８：入力操作部、３９：表示部、４０：制御部、４１：記憶装置、４２：通信部、４３：入力操作部、４４：表示部、５０，５４，６０：メッセージ、５２：映像補正設定画面、５３：デジタルズーム設定画面、Ａ１，Ａ２：画角、Ｆ１，Ｆ２：フレーム、Ｈ１，Ｈ２：撮影対象物、Ｔ，Ｔａ，Ｔｂ，Ｔｃ：作業員、Ｕ：ユーザ
【要約】
【課題】ユーザビリティが向上した携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラムを提供する。
【解決手段】携帯用の撮像装置は、撮影を通じて映像データを取得し、前記映像データに対して第１のデジタル画像処理を実行し、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、ように構成されている。
【選択図】図１１
【解決手段】携帯用の撮像装置は、撮影を通じて映像データを取得し、前記映像データに対して第１のデジタル画像処理を実行し、前記第１のデジタル画像処理が実行されている状態で前記第１のデジタル画像処理とは異なる第２のデジタル画像処理を前記映像データに対して実行する場合に、前記第１のデジタル画像処理を停止する、ように構成されている。
【選択図】図１１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】