(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】撮像装置、撮像装置の制御方法、及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231212BHJP
H04N 7/18 20060101ALI20231212BHJP
H04N 23/695 20230101ALI20231212BHJP
H04N 23/69 20230101ALI20231212BHJP
G03B 15/00 20210101ALI20231212BHJP
【FI】
H04N23/60
H04N7/18 E
H04N23/695
H04N23/69
G03B15/00 P
(21)【出願番号】P 2019213313
(22)【出願日】2019-11-26
【審査請求日】2022-10-25
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】小林 杏子
【審査官】門田 宏
(56)【参考文献】
【文献】特開2018-097870(JP,A)
【文献】特開2015-076707(JP,A)
【文献】特開2004-007261(JP,A)
【文献】国際公開第2017/199398(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 7/18
H04N 23/695
H04N 23/69
G03B 15/00
(57)【特許請求の範囲】
【請求項1】
撮影対象を撮影して映像を生成する撮像手段と、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力手段と、
前記出力手段が出力する映像の画角を第1の画角から第2の画角に切り替える場合に、前記第1の画角で映像を出力しつつ前記第1の画角と前記第2の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第2の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第2の画角で映像を出力する切り替え手段とを有することを特徴とする撮像装置。
【請求項2】
前記切り替え手段は、
前記撮像手段の画角を変更する第1のパン・チルト制御手段と、
前記撮像手段の光学ズームに係る制御を行う第1のズーム制御手段と、
前記映像の映像情報に対してパン・チルトに係る処理を行う第2のパン・チルト制御手段と、
前記映像の映像情報に対してデジタルズームに係る処理を行う第2のズーム制御手段とを有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記切り替え手段は、
前記出力手段が出力する映像の画角を前記第1の画角から前記第2の画角に切り替える場合に、前記第1の画角と前記第2の画角とが同一画角に収まるよう前記撮像手段の画角を前記第1のパン・チルト制御手段及び前記第1のズーム制御手段の少なくとも1つで制御しつつ、前記第1の画角の映像を出力し続けるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行い、前記第2の画角が前記撮像手段の画角に収まった後に前記第2の画角となるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行うことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記切り替え手段は、
前記第1の画角と前記第2の画角が撮像手段における同一画角に収まらない位置にある場合、前記第1の画角を前記撮像手段の画角から外さずに前記第2の画角に近づくよう前記撮像手段の画角を前記第1のパン・チルト制御手段及び前記第1のズーム制御手段の少なくとも1つで制御しつつ、前記第1の画角の映像を出力し続けるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行った後に、前記第2の画角が収まるように前記撮像手段の画角を前記第1のパン・チルト制御手段で制御し、前記第2の画角が前記撮像手段の画角に収まった後に前記第2の画角となるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行うことを特徴とする請求項2又は3に記載の撮像装置。
【請求項5】
前記切り替え手段は、
目標物を検出する検出手段を有し、
目標検出情報が入力されると、ズームアウト及びパン・チルトに係る制御を行って目標物を探索し、探索している間は前記第1の画角の映像を出力し続けるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行い、前記目標物を検出すると前記目標物が含まれる前記第2の画角となるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行うことを特徴とする請求項3に記載の撮像装置。
【請求項6】
前記切り替え手段は、
ユーザからのパン・チルト、ズーム操作に係る情報が入力されると、前記第1の画角の映像を出力し続けるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行い、ユーザによって前記第2の画角が決定されると、前記第2の画角となるように前記第2のパン・チルト制御手段及び前記第2のズーム制御手段の少なくとも1つで制御を行うことを特徴とする請求項3に記載の撮像装置。
【請求項7】
撮影対象を撮影して映像を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力工程と、
前記出力工程にて出力する映像の画角を第1の画角から第2の画角に切り替える場合に、前記第1の画角で映像を出力しつつ前記第1の画角と前記第2の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第2の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第2の画角で映像を出力する切り替え工程とを有することを特徴とする撮像装置の制御方法。
【請求項8】
撮影対象を撮影して映像を生成する撮像手段を有する撮像装置のコンピュータに、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力ステップと、
前記出力ステップにて出力する映像の画角を第1の画角から第2の画角に切り替える場合に、前記第1の画角で映像を出力しつつ前記第1の画角と前記第2の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第2の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第2の画角で映像を出力する切り替えステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
リモートカメラ等を用いた撮影において、画角を切り替える際、複数のカメラの映像をスイッチャーで切り替える方法が一般的に用いられている。また、カメラの台数を削減するために、監視用途以外でもパン・チルト・ズーム(以下、「PTZ」とも称す)機能やプリセット機能を用いた画角切り替えが利用されている。しかし、これらの機能は画角が急に変わり、不要な首振り映像(PTZ駆動時の映像)が収録されるといった問題がある。首振り映像は、必要のないケースが多く、生配信等の編集をすることができない撮影状況において、特に問題となっている。特許文献1には、画角切り替え中に切り替える直前の静止画像を出力することで、首振り映像を出力しないシステムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載された技術では、撮像装置が首振りする度に静止画が取得されるため、動画の撮り逃しが発生し、またユーザに違和感を与えるといった問題がある。本発明は、ユーザに違和感を与えることなく、首振り映像のない画角切り替えを行えるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る撮像装置は、撮影対象を撮影して映像を生成する撮像手段と、前記撮像手段により撮影された映像における所定の画角の映像を出力する出力手段と、前記出力手段が出力する映像の画角を第1の画角から第2の画角に切り替える場合に、前記第1の画角で映像を出力しつつ前記第1の画角と前記第2の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第2の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第2の画角で映像を出力する切り替え手段とを有することを特徴とする。
【発明の効果】
【0006】
本発明によれば、ユーザに違和感を与えることなく、首振り映像のない画角切り替えを行うことができる。
【図面の簡単な説明】
【0007】
【
図1】第1の実施形態に係る映像収録システムの構成例を示す図である。
【
図2】第1の実施形態に係る映像収録システムの映像切り替え前後の画角を説明する図である。
【
図3】第1の実施形態に係る映像収録システムの映像切り替え手順を説明する図である。
【
図4】第1の実施形態に係る画角切り替え処理の例を示すフローチャートである。
【
図5】第2の実施形態に係る映像収録システムの構成例を示す図である。
【
図6】第2の実施形態に係る映像収録システムの映像切り替え前後の画角を説明する図である。
【
図7】第2の実施形態に係る映像収録システムの映像切り替え手順を説明する図である。
【
図8】第2の実施形態に係る画角切り替え処理の例を示すフローチャートである。
【
図9】第3の実施形態に係る映像収録システムの構成例を示す図である。
【
図10】第3の実施形態に係る映像収録システムの目標画角決定手順を説明する図である。
【
図11】第3の実施形態に係る映像収録システムの探索ルート決定手順を説明する図である。
【
図12】第3の実施形態に係る画角切り替え処理の例を示すフローチャートである。
【
図13】第4の実施形態に係る映像収録システムの構成例を示す図である。
【
図14】第4の実施形態に係る映像収録システムのPTZ制御方法を説明する図である。
【
図15】第4の実施形態に係る画角切り替え処理の例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態は一例であり、本発明はこれに限定されるものではない。なお、以下の説明において、PTZ制御(動作)とは、物理的な駆動によるパン(P)、チルト(T)、ズーム(Z)に係る制御(動作)である。また、デジタルPTZ制御とは、切り出し領域の制御等の信号処理によるパン(P)、チルト(T)、ズーム(Z)に係る制御である。
【0009】
(第1の実施形態)
本発明の第1の実施形態について説明する。
図1は、第1の実施形態における映像収録システム100の構成例を示すブロック図である。映像収録システム100は、撮像装置110及びクライアント装置130を有する。撮像装置110とクライアント装置130とはネットワーク150を介して接続されている。撮像装置110は、クライアント装置130から入力された情報を基に映像を撮影し、クライアント装置130へ出力する。クライアント装置130は、映像収録装置131、及び図示していないモニタ等の映像表示装置、パン・チルト・ズーム(PTZ)操作装置、入力装置、PC等を有する。クライアント装置130は、ユーザの操作情報をネットワーク150経由で撮像装置110へ出力し、撮像装置110から撮影した映像をネットワーク150経由で入力されると、映像表示装置での表示や収録を行う。
【0010】
撮像装置110は、画角切り替え装置111、映像入力装置112、及びPTZ駆動装置113を有する。画角切り替え装置111は、映像入力装置112から取得した映像情報と、クライアント装置130から取得した目標画角情報とに基づいて、PTZ駆動やデジタルPTZ駆動の動作命令を生成する。画角切り替え装置111は、例えば、切り替え前画角を映した状態から、切り替え前画角と目標画角を同一画角に収めた後、目標画角になるようPTZ制御命令を出力する。また、その間に切り替え前画角又は目標画角の映像が得られるようにデジタルPTZ制御を行い、映像情報を出力する。画角切り替え装置111は、生成したPTZ制御命令をPTZ駆動装置113へ出力し、映像情報をクライアント装置130へ出力する。
【0011】
画角切り替え装置111は、映像入力部114、デジタルPTZ処理部115、映像配信部116、通信部117、目標画角情報入力部118、PTZ制御方法算出部119、及びPTZ制御部120を有する。映像入力部114は、映像入力装置112で撮像された映像情報を取得し、デジタルPTZ処理部115へ出力する。デジタルPTZ処理部115は、PTZ制御方法算出部119からデジタルPTZ制御情報を入力され、映像入力部114から映像情報を入力されると、デジタルPTZ制御を行って所定の画角での映像情報を映像配信部116へ出力する。デジタルPTZ処理部115は、デジタルズームに係る処理を行う第2のパン・チルト制御手段及びパン・チルトに係る処理を行う第2のズーム制御手段の一例である。
【0012】
映像配信部116は、デジタルPTZ処理部115から映像情報を入力されると、通信部117へ出力する。通信部117は、映像配信部116から入力された映像情報を映像収録装置131へ出力する。また、通信部117は、クライアント装置130によって入力された目標画角情報を目標画角情報入力部118へ出力する。目標画角情報は、少なくとも目標画角座標情報を含む。目標画角情報入力部118は、通信部117から目標画角情報を入力されると、PTZ制御方法算出部119へ出力する。
【0013】
PTZ制御方法算出部119は、目標画角情報入力部118から目標画角情報を入力されると、首振り映像のない画角切り替えに必要なPTZ及びデジタルPTZの制御方法を算出する。PTZ制御方法算出部119は、PTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部115へ出力する。PTZ制御部120は、PTZ制御方法算出部119からPTZ制御情報を入力されると、PTZ駆動の動作命令(PTZ制御命令)を生成してPTZ駆動装置113へ出力する。PTZ制御部120は、撮像装置の画角を変更する第1のパン・チルト制御手段及び光学ズームに係る制御を行う第1のズーム制御手段の一例である。PTZ駆動装置113は、画角切り替え装置111からPTZ制御命令を受け取ると、モータを駆動してPTZ動作を行う。
【0014】
図2及び
図3を参照して、本実施形態におけるPTZ及びデジタルPTZの制御の流れを説明する。
図2は、画角切り替え前後の取得映像を表す。
図2において、K104、K105はそれぞれ人体を表し、P101は画角切り替え前の画角を表し、P102は画角切り替え後の目標画角を表す。
図3(A)~
図3(C)は、画角切り替え装置111による画角切り替えの流れを表している。
図3(A)~
図3(C)において、K103、K104、K105は人体を表し、P101は切り替え前の取得映像画角を表し、P102は目標画角を表し、E200は撮像装置の画角を表す。
【0015】
図3(A)は、切り替え前画角P101を収録している状態の俯瞰図である。この状態から、切り替え前画角P101を保つようデジタルPTZ制御を行いつつ、目標画角P102が撮像装置画角E200に含まれるようPTZ制御を行う。そして、
図3(B)に示すように、撮像装置画角E200に切り替え前画角P101及び目標画角P102の双方が含まれるようになる。すると、デジタルPTZ領域を切り替え前画角P101から目標画角P102へ切り替え、目標画角P102へデジタルPTZ制御しつつ、撮像装置画角E200が目標画角P102と等しくなるようPTZ制御を行う。そして、
図3(C)に示すように、目標画角P102へのPTZ制御が完了すると、画角切り替えにおけるPTZ制御及びデジタルPTZ制御を終了する。
【0016】
次に、第1の実施形態に係る映像収録システム100の画角切り替え処理について説明する。
図4は、第1の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム100は、ユーザ操作によって起動されると映像収録を開始し、初めにS401において、撮像装置110は、クライアント装置130から目標画角情報を取得する。
【0017】
次に、S402において、PTZ制御方法算出部119は、目標画角情報入力部118から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲のPTZ操作で、撮像装置画角内に切り替え前後双方の画角を含むことができるか否かを判定する。S402での判定の結果、真(S402でYES)である場合にはS403へ進み、偽(S402でNO)である場合にはS410へ進む。S410において、PTZ制御部120は、撮像装置の画角が目標画角となるようPTZ駆動装置113の動きを制御する。そして、S410の処理の後、画角切り替え処理を終了する。
【0018】
S403において、PTZ制御方法算出部119は、目標画角情報入力部118から入力された目標画角情報に基づいて、現在の撮像装置画角内に切り替え前後の双方の画角が含まれているか否かを判定する。S403での判定の結果、真(S403でYES)である場合にはS406へ進み、偽(S403でNO)である場合にはS404へ進む。
【0019】
S404において、PTZ制御方法算出部119は、目標画角情報入力部118から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲で、目標画角へ近づくPTZ制御方法を算出する。PTZ制御部120は、算出されたPTZ制御方法に基づくPTZ制御情報に従ってPTZ駆動装置113を制御し、PTZ動作を実行する。次に、S405において、デジタルPTZ処理部115は、PTZ制御方法算出部119から入力されたデジタルPTZ制御情報に基づいて、切り替え前画角でデジタルPTZ処理を行う。そして、S405の処理の後、S403へ進む。
【0020】
S406において、デジタルPTZ処理部115は、デジタルPTZ領域を切り替え前画角から目標画角へ切り替える。次に、S407において、PTZ制御方法算出部119は、撮像装置の画角が目標画角と等しいか否かを判定する。S407での判定の結果、偽(S407でNO)の場合にはS408へ進み、真(S407でYES)である場合には画角切り替え処理を終了する。
【0021】
S408において、PTZ制御部120は、撮像装置の画角が目標画角と等しくなるようPTZ制御を行う。次に、S409において、デジタルPTZ処理部115は、目標画角でデジタルPTZ処理を行う。そして、S409の処理の後、S407へ進む。
【0022】
第1の実施形態によれば、切り替え前画角でデジタルPTZ制御を行いつつ、目標画角が撮像装置画角に含まれるようPTZ制御を行い、デジタルPTZ領域を目標画角へ切り替える。これにより、ユーザに違和感を与えることなく、首振り映像のない自然な画角切り替えを行うことができる。
【0023】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
図5は、第2の実施形態における映像収録システム500の構成例を示すブロック図である。
図5において、
図1に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム500は、撮像装置510及びクライアント装置530を有する。撮像装置510とクライアント装置530とはネットワーク550を介して接続されている。撮像装置510は、クライアント装置530から入力された情報を基に映像を撮影し、クライアント装置530へ出力する。クライアント装置530は、映像収録装置131、及び図示していないモニタ等の映像表示装置、PTZ操作装置、入力装置、PC等を有する。クライアント装置530は、ユーザの操作情報をネットワーク550経由で撮像装置510へ出力し、撮像装置510から撮影した映像をネットワーク550経由で入力されると、映像表示装置での表示や収録を行う。
【0024】
撮像装置510は、画角切り替え装置511、映像入力装置112、及びPTZ駆動装置113を有する。画角切り替え装置511は、映像入力装置112から取得した映像情報と、クライアント装置530から取得した目標画角情報とに基づいて、PTZ駆動やデジタルPTZ駆動の動作命令を生成する。画角切り替え装置511は、例えば、切り替え前画角を映した状態で、切り替え前画角が撮像装置511の画角から外れない限界まで目標画角へ近づくようパン、チルト、及びズームアウトする。その後、目標画角が撮像装置511の画角に入るまでパン、チルトするようなPTZ制御命令を出力する。また、その間に切り替え前画角又は目標画角の映像が得られるようにデジタルPTZ制御を行い、映像情報を生成する。画角切り替え装置511は、生成したPTZ制御命令をPTZ駆動装置113へ出力し、映像情報をクライアント装置530へ出力する。
【0025】
画角切り替え装置511は、映像入力部114、デジタルPTZ処理部115、映像配信部116、通信部117、目標画角情報入力部118、PTZ制御方法算出部512、及びPTZ制御部120を有する。
【0026】
PTZ制御方法算出部512は、目標画角情報入力部118から目標画角情報を入力されると、切り替え前画角P201が見切れない範囲でのPTZ操作で、撮像装置の画角内に切り替え前画角と目標画角の双方が含まれるか否かを判定する。切り替え前画角と目標画角の双方が同一画角に含まれると判定した場合、第1の実施形態と同じ処理を行うため説明は省略する。一方、切り替え前画角と目標画角の双方が同一画角に収まらない位置にあると判定した場合、首振り映像を最低限に抑えた画角切り替えに必要なPTZ及びデジタルPTZの制御方法を算出する。PTZ制御方法算出部512は、PTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部115へ出力する。
【0027】
映像入力装置112は、撮影対象を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置112は、生成した映像情報を画角切り替え装置511へ出力する。PTZ駆動装置113は、画角切り替え装置511からPTZ制御命令を受け取ると、モータを駆動してPTZ動作を行う。
【0028】
図6及び
図7を参照して、本実施形態におけるPTZ及びデジタルPTZの制御の流れを説明する。
図6は、画角切り替え前後の画角を表す。
図6において、K104、K105はそれぞれ人体を表し、P201は映像切り替え前の画角を表し、P202は画角切り替え後の目標画角を表す。
図7(A)~
図7(D)は、画角切り替え装置511による画角切り替えの流れを表している。
図7(A)~
図7(D)において、K104、K105は人体を表し、P201は映像切り替え前の画角を表し、P202は目標画角を表し、E200~E203はそれぞれ撮像装置の画角を表す。また、F200は切り替え前画角P201を撮像装置の画角に含んだ状態でPTZできる範囲をそれぞれ表す。
【0029】
図7(A)は、切り替え前画角P201を収録している状態の俯瞰図である。この状態から、切り替え前画角P201を保つようデジタルPTZ制御を行いつつ、撮像装置の画角が目標画角P202へ限界まで近づくようPTZ制御する。
図7(B)は、撮像装置の画角が目標画角P202へ限界まで近づくようPTZ制御した状態の俯瞰図であり、E201がその時の撮像装置の画角を表している。このとき、広角端までズームアウトしている。
図7(B)の状態から、撮像装置の画角が目標画角P202を含むまでPT制御する。PTし終えた状態が
図7(C)である。撮像装置の画角E202に目標画角P202が含まれ次第、目標画角P202でデジタルPTZ制御を行う。目標画角P202でデジタルPTZ制御を行いつつ、撮像装置の画角E203が目標画角P202と等しくなるまでPTZ制御を行い、画角切り替えを完了した状態が
図7(D)である。
【0030】
次に、第2の実施形態に係る映像収録システム500の画角切り替え処理について説明する。
図8は、第2の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム500は、ユーザ操作によって起動されると映像収録を開始し、初めにS801において、目標画角情報入力部118は、目標画角情報を取得する。
【0031】
次に、S802において、PTZ制御方法算出部512は、切り替え前画角が見切れない範囲でのPTZ操作で、撮像装置の画角内に切り替え前画角と目標画角の双方が含まれるか否かを判定する。S802での判定の結果、真(S802でYES)である場合にはS803へ進み、偽(S802でNO)である場合にはS810へ進む。
【0032】
S810において、PTZ制御方法算出部512は、目標画角情報入力部118から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲で目標画角へ近づくPTZ制御方法を算出する。PTZ制御部120は、算出されたPTZ制御方法に基づくPTZ制御情報に従ってPTZ駆動装置113を制御し、PTZ動作を実行する。次に、S811において、デジタルPTZ処理部115は、PTZ制御方法算出部512から入力されたデジタルPTZ制御情報に基づいて、切り替え前画角でデジタルPTZ処理を行う。
【0033】
次に、S812において、PTZ制御方法算出部512は、PTZ制御して限界まで撮像装置の画角が目標画角に近づき、広角端までズームアウトしたか否かを判定する。S812での判定の結果、真(S812でYES)である場合にはS813へ進み、偽(S812でNO)である場合にはS810へ進む。
【0034】
S813において、PTZ制御部120は、PTZ制御方法算出部512から入力されたPTZ制御情報に基づいて、目標画角が撮像装置の画角内に含まれるようPT制御を行う。次に、S814において、PTZ制御方法算出部512は、撮像装置の画角内に目標画角が含まれたか否かを判定する。S814での判定の結果、真(S814でYES)である場合にはS806へ進み、偽(S814でNO)である場合にはS813へ進む。
【0035】
なお、S803~S809の処理については、
図4に示した第1の実施形態におけるS403~S409の処理と同様であるので、説明は省略する。
【0036】
以上のように、第2の実施形態では、切り替え前画角でデジタルPTZ制御を行いつつ、切り替え前画角が撮像装置の画角から外れない限界まで目標画角へ近づくようパン、チルト及びズームアウトする。その後、目標画角が撮像装置の画角に入るまでパン、チルトし、目標画角が撮像装置の画角に入り次第、目標画角となるようデジタルPTZ制御を行うことで、首振り映像を最低限に抑えた画角切り替えを行うことができる。
【0037】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
図9は、第3の実施形態における映像収録システム900の構成例を示すブロック図である。
図9において、
図1に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム900は、撮像装置910及びクライアント装置930を有する。撮像装置910とクライアント装置930とはネットワーク950を介して接続されている。撮像装置910は、クライアント装置930から入力された情報を基に映像を撮影し、クライアント装置930へ出力する。クライアント装置930は、映像収録装置131、及び図示していないモニタ等の映像表示装置、PTZ操作装置、入力装置、PC等を有する。クライアント装置930は、ユーザの操作情報をネットワーク950経由で撮像装置910へ出力し、撮像装置910から撮影した映像をネットワーク950経由で入力されると、映像表示装置での表示や収録を行う。
【0038】
撮像装置910は、画角切り替え装置911、映像入力装置112、及びPTZ駆動装置113を有する。画角切り替え装置911は、映像入力装置112から取得した映像情報と、クライアント装置930から取得した画角切り替え条件とに基づいて、目標物の探索を行い、検出し次第目標画角を決定し、PTZ駆動及びデジタルPTZ駆動の動作命令を生成する。画角切り替え装置911は、例えば、切り替え前画角を撮像装置の画角内に含んだ状態でPTZ制御し、目標画角条件を満たす領域を検出し次第、目標画角を決定する。目標画角決定後は、切り替え前画角と目標画角とを同一画角に収めた後、撮像装置の画角が目標画角になるようPTZ制御命令を出力する。また、その間に目標画角の映像が得られるようにデジタルPTZ制御を行う。画角切り替え装置911は、生成したPTZ制御命令をPTZ駆動装置113へ出力し、映像情報を映像収録装置131へ出力する。
【0039】
画角切り替え装置911は、映像入力部114、目標物検出部912、デジタルPTZ処理部913、映像配信部116、通信部914、画角切り替え条件入力部915、探索ルート算出部916、PTZ制御方法算出部917、PTZ制御部120を有する。
【0040】
目標物検出部912は、映像入力部114から映像情報を入力され、画角切り替え条件入力部915から画角切り替え条件として目標検出情報を入力されると、映像上で検出処理を行い、目標物座標情報をPTZ制御方法算出部917へ出力する。目標検出情報として“人体検出結果が映る画角”が入力された場合の検出および画角決定処理の流れを、
図10を参照して説明する。本実施形態では人体の検出処理にテンプレートマッチング法を用いるが、公知の技術であるため詳細な説明は省略する。
【0041】
図10(A)~
図10(F)は、映像収録システム900を用いた撮影の俯瞰図である。
図10(A)~
図10(F)において、K304、K305は人体を表し、P301は切り替え前画角を表し、Z320~Z325はそれぞれ入力された探索ルート上の撮像装置の画角を表し、F300は探索可能範囲を表し、D301は検知結果矩形を表す。
図10(B)~
図10(F)において、目標物検出部912は、撮像装置の各画角での画像上で人体検出処理を行い、結果をPTZ制御方法算出部917へ出力する。人体が検出されない
図10(B)~
図10(E)においては、その結果をPTZ制御方法算出部917へ出力する。
図10(F)において、人体K305が検出されると、目標物座標情報をPTZ制御方法算出部917へ出力する。
【0042】
デジタルPTZ処理部913は、PTZ制御方法算出部917からデジタルPTZ制御情報を入力され、目標物検出部912から映像情報を入力されると、デジタルPTZ制御を行って所定の画角での映像情報を映像配信部116へ出力する。デジタルPTZ処理部913は、デジタルズームに係る処理を行う第2のパン・チルト制御手段及びパン・チルトに係る処理を行う第2のズーム制御手段の一例である。通信部914は、映像配信部116から入力された映像情報を映像収録装置131へ出力する。また、通信部914は、クライアント装置930によって入力された画角切り替え条件を画角切り替え条件入力部915へ出力する。画角切り替え条件は、少なくとも目標検出情報と探索方法情報を含む。目標検出情報としては、顔認証、人体検出、物体検出、音声検出等の各種検出条件が挙げられる。探索方法としては、時計回り、反時計回り、巡回プリセット等が挙げられる。
【0043】
画角切り替え条件入力部915は、通信部914から画角切り替え条件を入力されると、探索方法情報を探索ルート算出部916へ出力し、目標検出情報を目標物検出部912へ出力する。
【0044】
探索ルート算出部916は、画角切り替え条件入力部915から探索方法情報を入力されると、切り替え前画角が撮像装置の画角から見切れない範囲で目標物の探索ルートを算出し、PTZ制御方法算出部917へ出力する。探索方法情報として反時計回りの探索が入力された場合の探索ルート算出方法について、
図11(A)~
図11(F)を参照して説明する。
図11(A)~
図11(F)は映像収録システムを用いた撮影の俯瞰図である。
図11(A)~
図11(F)において、K304は人体を表し、P301は切り替え前画角を表し、Z320~Z325はそれぞれ撮像装置の画角を表す。また、F300は探索可能範囲を表す。
【0045】
探索方法情報として、例えば反時計回りの探索が入力された場合、探索ルート算出部916は、切り替え前画角P301から、広角端までズームアウトした撮像装置の画角Z321の座標情報を算出する。次に、切り替え前画角P301の右下の座標が広角端までズームアウトした画角の右下の座標と等しくなるような画角Z322、切り替え前画角P301の右上の座標が広角端までズームアウトした画角の右上の座標と等しくなる画角Z323を算出する。続いて、切り替え前画角P301の左上の座標が広角端までズームアウトした画角の左上の座標と等しくなる画角Z324、切り替え前画角P301の左下の座標が広角端までズームアウトした画角の左下の座標と等しくなる画角Z325を算出する。探索ルート算出部916は、画角Z321~Z325の座標を、探索ルート情報としてPTZ制御方法算出部917へ出力する。
【0046】
PTZ制御方法算出部917は、探索ルート算出部916から探索ルート情報を入力されると、探索に必要なPTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部913へ出力する。PTZ制御方法算出部917は、目標物検出部912から目標物座標が入力されると、目標画角を決定して、首振り映像のない画角切り替えに必要なPTZ及びデジタルPTZの制御方法を算出する。PTZ制御方法算出部917は、PTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部913へ出力する。
【0047】
映像入力装置112は、撮影対象を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置112は、生成した映像情報を画角切り替え装置911へ出力する。PTZ駆動装置113は、画角切り替え装置911からPTZ制御命令を受け取ると、モータを駆動してPTZ動作を行う。
【0048】
次に、第3の実施形態に係る映像収録システム900の画角切り替え処理について説明する。
図12は、第3の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム900は、ユーザ操作によって起動されると映像収録を開始し、初めにS1201において、不図示のユーザ操作によって入力された画角切り替え条件を取得する。
【0049】
次に、S1202において、探索ルート算出部916は、画角切り替え条件入力部915に入力された探索方法情報に基づいて、切り替え前画角が撮像装置の画角から見切れない範囲での探索ルートを算出する。次に、S1203において、PTZ制御方法算出部917は、ズームアウトするPTZ制御情報をPTZ制御部120へ出力する。次に、S1204において、デジタルPTZ処理部913は、PTZ制御方法算出部917から入力されたデジタルPTZ制御情報に基づいて、切り替え前画角でデジタルPTZ処理を行う。
【0050】
次に、S1205において、PTZ制御方法算出部917は、撮像装置の画角が広角端までズームアウトされたか否かを判定する。S1205での判定の結果、真(S1205でYES)である場合にはS306へ進み、偽(S1205でNO)である場合にはS1203へ進む。S1206において、目標物検出部912は、目標検出情報に対応する探索対象が検出されたか否かを判定する。S1206での判定の結果、偽(S1206でNO)である場合にはS1207へ進み、真(S1206でYES)である場合にはS1209へ進む。
【0051】
S1207において、PTZ制御部120は、PTZ制御方法算出部917からPT制御情報を入力されると、探索ルート上でのPT制御命令をPTZ駆動装置113へ出力する。次に、S1208において、デジタルPTZ処理部913は、PTZ制御方法算出部917から入力されたデジタルPTZ制御情報に基づいて、切り替え前画角でデジタルPTZ処理を行う。そして、S1208の処理の後、S1206へ進む。
【0052】
S1209において、PTZ制御方法算出部917は、探索対象を含む目標画角を決定する。次に、S1210において、デジタルPTZ処理部913は、PTZ制御方法算出部917から入力されたデジタルPTZ制御情報に基づいて、目標画角となるようデジタルPTZ処理を行う。次に、S1211において、PTZ制御方法算出部917は、撮像装置の画角が目標画角と等しいか否かを判定する。S1211での判定の結果、偽(S1211でNO)の場合にはS1212へ進み、真(S1211でYES)である場合には画角切り替え処理を終了する。
【0053】
S1212において、PTZ制御部120は、PTZ制御方法算出部917から入力されたPTZ制御情報に基づいて、撮像装置の画角が目標画角と等しくなるようPTZ制御を行う。次に、S1213において、デジタルPTZ処理部913は、PTZ制御方法算出部917から入力されたデジタルPTZ制御情報に基づいて、目標画角となるようデジタルPTZ処理を行う。そして、S1213の処理の後、S1211へ進む。
【0054】
以上のように、第3の実施形態では、ユーザが設定した画角変更条件を満たす画角への映像切り替えを行う場合、切り替え前画角でデジタルPTZ制御を行いつつ、探索ルート上でPTZ制御を行う。そして、ユーザが設定した画角変更条件を満たす目標物を検出し次第、目標画角を決定して、デジタルPTZ領域を目標画角へ切り替えることで、首振り映像のない自然な画角切り替えを行うことができる。
【0055】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
図13は、第4の実施形態における映像収録システム1300の構成例を示すブロック図である。
図13において、
図1に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム1300は、撮像装置1310及びクライアント装置1330を有する。撮像装置1310とクライアント装置1330とはネットワーク1350を介して接続されている。撮像装置1310は、クライアント装置1330から入力された情報を基に映像を撮影し、クライアント装置1330へ出力する。クライアント装置1330は、映像収録装置131、及び図示していないモニタ等の映像表示装置、PTZ操作装置、入力装置、PC等を有する。クライアント装置1330は、ユーザの操作情報をネットワーク1350経由で撮像装置1310へ出力し、撮像装置1310から撮影した映像をネットワーク1350経由で入力されると、映像表示装置での表示や収録を行う。
【0056】
撮像装置1310は、画角切り替え装置1311、映像入力装置112、及びPTZ駆動装置113を有する。画角切り替え装置1311は、映像入力装置112から取得した映像上での目標画角を、不図示のユーザ操作によって選択させ、目標画角へ首振り映像を含まずに切り替えられるよう、PTZ駆動及びデジタルPTZ駆動の動作命令を生成する。画角切り替え装置1311は、例えば、切り替え前画角を撮像装置の画角内に含んだ状態で、クライアント装置1330からのユーザPTZ操作情報に基づいてPTZ制御し、不図示のユーザによる目標画角の選択を待つ。その間、切り替え前画角でデジタルPTZ制御を行う。目標画角が選択され次第、切り替え前画角と目標画角とを同一画角に収め、撮像装置の画角が目標画角になるようPTZ制御命令を出力する。また、その間に目標画角の映像が得られるようにデジタルPTZ制御を行う。画角切り替え装置1311は、生成したPTZ制御命令をPTZ駆動装置113へ出力し、操作用俯瞰映像情報と収録用映像情報をクライアント装置1330へ出力する。
【0057】
画角切り替え装置1311は、映像入力部1312、デジタルPTZ処理部115、映像配信部1316、通信部1313、PTZ制御情報入力部1314、PTZ制御方法算出部1315、及びPTZ制御部120を有する。映像入力部1312は、映像入力装置112で撮像された映像情報を取得し、デジタルPTZ処理部115及び映像配信部1316へ出力する。
【0058】
映像配信部1316は、映像入力部1312から操作用俯瞰映像情報を入力され、デジタルPTZ処理部115から収録用映像情報を入力されると、通信部1313へ出力する。通信部1313は、映像配信部1316から入力された操作用俯瞰映像情報と収録用映像情報をクライアント装置1330へ出力する。また、通信部1313は、クライアント装置1330から入力されたPTZ制御情報を、PTZ制御情報入力部1314へ出力する。PTZ制御情報は、少なくとも切り替えユーザPTZ操作情報、ユーザ画角選択情報を含む。PTZ制御情報入力部1314は、通信部1313からPTZ制御情報を入力されると、ユーザPTZ操作情報及びユーザ画角選択情報をPTZ制御方法算出部1315へ出力する。
【0059】
PTZ制御方法算出部1315は、PTZ制御情報入力部1314からユーザPTZ操作情報を入力されると、撮像装置の画角内に切り替え前画角が含まれるPTZ操作かどうかを判定する。撮像装置の画角内に切り替え前画角が含まれると判定した場合には、PTZ制御方法算出部1315は、PTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部115へ出力する。一方、撮像装置の画角内に切り替え前画角が含まれないと判定した場合には、PTZ制御方法算出部1315は、PTZ制御は行わず、デジタルPTZ制御情報をデジタルPTZ処理部115へ出力する。ユーザ操作制御の流れを、
図14を参照して説明する。
【0060】
図14(A)~
図14(D)において、K404、K405はそれぞれ人体を表し、P401は切り替え前画角を表し、E420~E423は操作用俯瞰映像となる撮像装置の画角を表す。
図14(A)は切り替え画角P401を配信している状態を表す。この状態から、入力されたユーザPTZ操作が、切り替え前画角P401が撮像装置の画角から外れない範囲でのユーザPTZ操作であると判定し、PTZ制御した状態が
図14(B)である。
図14(C)の状態になった場合、PTZ制御方法算出部1315は、下又は左へのPT操作又はズーム操作を実施すると切り替え前画角P401が含まれなくなると判定し、PTZ制御を行わない。同様に、
図14(D)の状態になった場合、PTZ制御方法算出部1315は、上又は右へのPT操作又はズーム操作を実施すると切り替え前画角P401が含まれなくなると判定し、PTZ制御を行わない。このように、撮像装置の画角内に切り替え前画角P401が含まれないユーザPTZ操作であると判定した場合、PTZ制御は行われない。
【0061】
PTZ制御方法算出部1315は、PTZ制御情報入力部1314からユーザ画角選択情報を入力されると、首振り映像のない画角切り替えに必要なPTZ及びデジタルPTZの制御方法を算出する。PTZ制御方法算出部1315は、PTZ制御情報をPTZ制御部120へ出力し、デジタルPTZ制御情報をデジタルPTZ処理部115へ出力する。
【0062】
映像入力装置112は、周囲を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置112は、生成した映像情報を画角切り替え装置1311へ出力する。PTZ駆動装置113は、画角切り替え装置1311からPTZ制御命令を受け取ると、モータを駆動してPTZ動作を行う。
【0063】
次に、第4の実施形態に係る映像収録システム1300の画角切り替え処理について説明する。
図15は、第4の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム1300は、ユーザ操作によって起動されると映像収録を開始し、初めにS1501において、クライアント装置1330によって入力されたユーザPTZ操作情報を取得する。
【0064】
次に、S1502において、PTZ制御方法算出部1315は、PTZ制御情報入力部1314から入力されたユーザPTZ操作情報に基づいて、ユーザのPTZ操作が切り替え前画角が見切れない範囲でのPTZ操作か否かを判定する。S1502での判定の結果、真(S1502でYES)である場合にはS1504へ進み、偽(S1502でNO)である場合にはS1503へ進む。S1503において、デジタルPTZ処理部115は、切り替え前画角でデジタルPTZ処理を行う。そして、S1503の処理の後、S1501へ進む。
【0065】
S1504において、デジタルPTZ処理部115は、切り替え前画角でデジタルPTZ処理を行う。次に、S1505において、PTZ制御情報入力部1314は、通信部1313からユーザ画角選択情報が入力され、切り替え先画角が決定されたか否かを判定する。S1505での判定の結果、真(S1505でYES)である場合にはS1506へ進み、偽(S1505でNO)である場合にはS1501へ進む。
【0066】
S1506において、PTZ制御方法算出部1315は、撮像装置の画角が目標画角と等しいか否かを判定する。S1506での判定の結果、偽(S1506でNO)の場合にはS1507へ進み、真(S1506でYES)である場合には画角切り替え処理を終了する。S1507において、PTZ制御部120は、撮像装置の画角が目標画角と等しくなるようPTZ制御を行う。次に、S1508において、デジタルPTZ処理部115は、目標画角となるようデジタルPTZ処理を行う。そして、S1508の処理の後、S1506へ進む。
【0067】
以上のように、第4の実施形態では、ユーザが画面上で選択した画角への映像切り替えを行う場合、ユーザが目標画角を探す間、切り替え前画角でデジタルPTZ制御を行う。そして、ユーザにより目標画角が入力され次第、切り替え前画角でデジタルPTZ制御を行いつつ、目標画角が撮像装置の画角に含まれるようPTZ制御を行い、デジタルPTZ領域を目標画角へ切り替える。これにより、首振り映像のない自然な画角切り替えを行うことができる。
【0068】
(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0069】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0070】
100:映像収録システム 110:撮像装置 111:画角切り替え装置 112:映像入力装置 113:PTZ駆動装置 114:映像入力部 115:デジタルPTZ処理部 116:映像配信部 117:通信部 118:目標画角情報入力部 119:PTZ制御方法算出部 120:PTZ制御部 130:クライアント装置