(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161774
(43)【公開日】2024-11-20
(54)【発明の名称】電子機器、表示制御装置、電子機器の制御方法、プログラム、および記憶媒体
(51)【国際特許分類】
H04N 23/61 20230101AFI20241113BHJP
H04N 23/60 20230101ALI20241113BHJP
H04N 23/63 20230101ALI20241113BHJP
H04N 5/66 20060101ALI20241113BHJP
H04N 21/431 20110101ALI20241113BHJP
G03B 15/00 20210101ALI20241113BHJP
【FI】
H04N23/61
H04N23/60 500
H04N23/63 300
H04N23/60 300
H04N5/66 Z
H04N21/431
G03B15/00 Q
G03B15/00 G
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2023076793
(22)【出願日】2023-05-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】植野 大優
(72)【発明者】
【氏名】藤原 卓真
【テーマコード(参考)】
5C058
5C122
5C164
【Fターム(参考)】
5C058BA35
5C122EA07
5C122FH09
5C122FH11
5C122FH14
5C122FH18
5C122FH21
5C122FH22
5C122FK09
5C122FK23
5C122FK24
5C122FL03
5C122GC52
5C122GC75
5C122HA88
5C122HB01
5C164UA42S
5C164UB41S
5C164UB87P
5C164UD41S
5C164YA11
5C164YA21
(57)【要約】
【課題】被写体を十分に秘匿する(視認されないようにする)ことのできる技術を提供する。
【解決手段】本発明の電子機器は、画像を取得する取得手段と、前記画像から特定の被写体を検出する検出手段と、前記画像の所定の方向の範囲のうち、前記検出手段によって検出された前記特定の被写体を含む範囲を、非表示にするように設定する設定手段とを有することを特徴とする。
【選択図】
図6
【特許請求の範囲】
【請求項1】
画像を取得する取得手段と、
前記画像から特定の被写体を検出する検出手段と、
前記画像の所定の方向の範囲のうち、前記検出手段によって検出された前記特定の被写体を含む範囲を、非表示にするように設定する設定手段と
を有することを特徴とする電子機器。
【請求項2】
前記設定手段は、前記特定の被写体を含む範囲を非表示にするように設定する処理と、前記特定の被写体の視認性を下げる画像処理を行うように設定する処理とを選択的に実行する
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
前記画像処理は、モザイク処理である
ことを特徴とする請求項2に記載の電子機器。
【請求項4】
前記画像処理は、ぼかし処理である
ことを特徴とする請求項2に記載の電子機器。
【請求項5】
前記設定手段は、既に非表示にするように設定されている範囲に、前記特定の被写体が含まれる場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項6】
前記設定手段は、前記特定の被写体と、ユーザにより指定された被写体との間の距離が閾値よりも長い場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項7】
前記設定手段は、非表示にするように設定される前記特定の被写体を含む範囲に対応する領域のサイズに対する前記特定の被写体の領域のサイズの割合が閾値よりも大きい場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項8】
前記設定手段は、前記特定の被写体の移動速度が閾値よりも遅い場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項9】
前記設定手段は、全視聴者数に対する前記特定の被写体の視聴者数の割合が閾値よりも小さい場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項10】
前記設定手段は、既に非表示にするように設定されている範囲がない場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項11】
前記設定手段は、既に非表示にするように設定された範囲の合計サイズが閾値よりも小さい場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする請求項1に記載の電子機器。
【請求項12】
前記設定手段は、既に非表示にするように設定された範囲と、前記特定の被写体との間の距離が閾値よりも短い場合に、前記特定の被写体を含む範囲を非表示にするように設定
する
ことを特徴とする請求項1に記載の電子機器。
【請求項13】
前記設定手段は、ユーザによって指定された被写体については処理を行わない
ことを特徴とする請求項1に記載の電子機器。
【請求項14】
前記設定手段は、前記画像の前記所定の方向の範囲のうち、特定の範囲にある前記特定の被写体については処理を行わない
ことを特徴とする請求項1に記載の電子機器。
【請求項15】
請求項1に記載の電子機器から画像を受信する受信手段と、
前記受信手段により受信した前記画像を表示部に表示するように制御する制御手段と、
ユーザのアカウント情報に応じて、前記電子機器により前記特定の被写体に対してされた設定を解除する変更手段と
を有することを特徴とする表示制御装置。
【請求項16】
請求項1に記載の電子機器から画像を受信する受信手段と、
前記画像の一部の範囲を表示部に表示するように制御する制御手段と、
前記画像のうち表示する範囲を前記表示部の姿勢の変化に応じて変更する設定がされている場合に、前記特定の被写体を含む範囲を非表示にする設定を、前記特定の被写体の視認性を下げる画像処理を行う設定に変更する変更手段と
を有することを特徴とする表示制御装置。
【請求項17】
請求項1に記載の電子機器から画像を受信する受信手段と、
前記受信手段により受信した前記画像を表示部に表示するように制御手段と、
ユーザ操作に応じて、特定の被写体を含む範囲を非表示にする設定を、前記特定の被写体の視認性を下げる画像処理を行う設定に変更する変更手段と
を有することを特徴とする表示制御装置。
【請求項18】
前記変更手段は、ユーザ操作に応じて、前記特定の被写体の視認性を下げる画像処理を行う設定を、前記特定の被写体を含む範囲を非表示にする設定に変更する
ことを特徴とする請求項15に記載の表示制御装置。
【請求項19】
前記制御手段は、前記特定の被写体を含む範囲を非表示にする場合に、非表示にしていることを識別可能に前記特定の被写体を含む範囲を非表示にするように制御する
ことを特徴とする請求項15に記載の表示制御装置。
【請求項20】
画像を取得する取得ステップと、
前記画像から特定の被写体を検出する検出ステップと、
前記画像の所定の方向の範囲のうち、前記検出ステップによって検出された前記特定の被写体を含む範囲を非表示にするように設定する設定ステップと
を有することを特徴とする電子機器の制御方法。
【請求項21】
コンピュータを、請求項1~14のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
【請求項22】
コンピュータを、請求項1~14のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、表示制御装置、電子機器の制御方法、プログラム、および記憶媒体に関し、特に、広い映像範囲を有する画像を表示する制御方法に関する。
【背景技術】
【0002】
近年、全方位画像、全天球画像といった、人間の視野角より広い範囲を表す広範囲画像の撮影が可能な撮像装置が普及している。また、このような広範囲画像を、不特定多数の視聴者に対して配信(例えばライブ配信)する方法も知られている。
【0003】
広範囲画像の配信では、視聴者の側で、撮影者(配信者)の意図に反した被写体が不意に表示されることがある。例えば、第三者の顔の表示によって肖像権が侵害されたり、街の広告に描かれている著作物の表示によって著作権が侵害されたりすることがある。
【0004】
特許文献1,2には、撮影者の意図に反して画像に写り込んだ被写体をボカシやモザイク処理などで秘匿する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009-094946号公報
【特許文献2】特開2017-022742号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、ぼかし処理やモザイク処理などで被写体を秘匿する特許文献1,2に開示の技術では、被写体が十分に秘匿されない(視認されてしまう)ことがある。
【0007】
本発明は、被写体を十分に秘匿する(視認されないようにする)ことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の電子機器は、画像を取得する取得手段と、前記画像から特定の被写体を検出する検出手段と、前記画像の所定の方向の範囲のうち、前記検出手段によって検出された前記特定の被写体を含む範囲を、非表示にするように設定する設定手段とを有することを特徴とする。
【発明の効果】
【0009】
本発明によれば、被写体を十分に秘匿する(視認されないようにする)ことができる。
【図面の簡単な説明】
【0010】
【
図1】デジタルカメラの外観図およびブロック図である。
【
図2】表示制御装置の外観図やブロック図などである。
【
図3】表示範囲を変更するタッチ操作を示す模式図である。
【
図4】デジタルカメラの配信処理を示すフローチャートである。
【
図5】デジタルカメラの周囲の被写体の位置関係を示す模式図などである。
【
図6】視聴制限設定の決定処理を示すフローチャートである。
【
図7】被写体の所在画角を説明するための模式図である。
【
図8】表示制御装置の表示処理を示すフローチャートである。
【
図9】視聴制限前後の広範囲画像を示す模式図である
【
図10】複数の制限被写体の所在画角が重複する場合を示す模式図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を説明する。
図1(a)は、本発明が適用された電子機器の一種であるデジタルカメラ100(撮像装置)の前面斜視図(外観図)である。
図1(b)は、デジタルカメラ100の背面斜視図(外観図)である。デジタルカメラ100は、全方位カメラ(全天球カメラ)である。
【0012】
バリア102aは、デジタルカメラ100の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ100の前側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。バリア102bは、デジタルカメラ100の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ100の後ろ側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。
【0013】
表示部28は各種情報を表示する。シャッターボタン61は撮影指示を行うための操作部(操作部材)である。モード切替スイッチ60は各種モードを切り替えるための操作部である。接続I/F25は、接続ケーブルをデジタルカメラ100に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器がデジタルカメラ100に接続される。操作部70は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサーなどである。電源スイッチ72は、電源のオン/オフを切り替えるための押しボタンである。
【0014】
発光部21は、発光ダイオード(LED)などの発光部材であり、デジタルカメラ100の各種状態を発光パターンや発光色によってユーザに通知する。固定部40は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ100を固定して設置するために使用される。
【0015】
図1(c)は、デジタルカメラ100の構成例を示すブロック図である。
【0016】
バリア102aは、前方カメラ部の撮像系(撮影レンズ103a、シャッター101a、撮像部22aなど)を覆うことによって、当該撮像系の汚れや破損を防止する。撮影レンズ103aは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101aは、撮像部22aへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22aは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子(撮像センサー)である。A/D変換器23aは、撮像部22aから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102aを設けずに、撮影レンズ103aの外側の面が露出し、撮影レンズ103aによって他の撮像系(シャッター101aや撮像部22a)の汚れや破損を防止してもよい。
【0017】
バリア102bは、後方カメラ部の撮像系(撮影レンズ103b、シャッター101b、撮像部22bなど)を覆うことによって、当該撮像系の汚れや破損を防止する。撮影レンズ103bは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101bは、撮像部22bへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22bは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子である。A/D変換器23bは、撮像部22bから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102bを設けずに、撮影レンズ103bの外側の面が露出し、撮影レンズ103bによって他の撮像系(シャッタ
ー101bや撮像部22b)の汚れや破損を防止してもよい。
【0018】
撮像部22aと撮像部22bによって、VR(Virtual Reality)画像が撮像される。VR画像とは、VR表示(表示モード「VRビュー」で表示)をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角)360度、左右方向(水平角度、方位角度、ヨー角)360度の視野分の映像範囲(有効映像範囲)を持つ。
【0019】
また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。
【0020】
このVR画像をVR表示(表示モード「VRビュー」で表示)すると、左右回転方向に表示装置(VR画像を表示する表示装置)の姿勢を変化させることによって、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
【0021】
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザがHMDを視聴している場合で言えば、ユーザが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚(没入感)を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。
【0022】
なお、VR画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動(スクロール)させてもよい。VR表示時(表示モード「VRビュー」時)において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタ
ンの押下などに応じて表示範囲を変更できるようにしてもよい。
【0023】
画像処理部24は、A/D変換器23aやA/D変換器23bからのデータ、または、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。システム制御部50は、画像処理部24によって得られた演算結果に基づいて露光制御や測距制御を行う。これによって、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理などが行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。また、画像処理部24は、A/D変換器23aとA/D変換器23bから得られた2つの画像(2つの魚眼画像;2つの広角画像)に基本的な画像処理を施し、基本的な画像処理が施された2つの画像を合成する繋ぎ画像処理を行って、単一のVR画像を生成する。また、画像処理部24は、ライブビューでのVR表示時、あるいは再生時に、VR画像をVR表示するための画像切出し処理、拡大処理、歪み補正などを行い、メモリ32のVRAMへ処理結果を描画するレンダリングを行う。
【0024】
繋ぎ画像処理では、画像処理部24は、2つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によってエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、2つの画像を繋ぐ繋ぎ位置を検出する。画像処理部24は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換によって各画像の歪みを補正し、各画像を全天球形式(全天球イメージ形式)の画像に変換する。そして、画像処理部24は、全天球形式の2つの画像を合成(ブレンド)することによって、1つの全天球画像(VR画像)を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体(VR空間)の表面の座標と対応づけることができる。
【0025】
A/D変換器23a,23bからの出力データは、画像処理部24およびメモリ制御部15を介して、或いは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22a,22bによって得られA/D変換器23a,23bによってデジタルデータに変換された画像データや、接続I/F25から外部のディスプレイに出力するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【0026】
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に格納されている画像表示用のデータは、接続I/F25から外部のディスプレイに出力することが可能である。撮像部22a,22bで撮像され、画像処理部24で生成されたVR画像であって、メモリ32に蓄積されたVR画像を外部ディスプレイに逐次転送して表示する。こうすることによって、電子ビューファインダとしての機能を実現でき、ライブビュー表示(LV表示)を行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。また、メモリ32に蓄積されたVR画像を、通信部54を介して無線接続された外部機器(スマートフォンなど)に転送し、外部機器側で表示することによってもライブビュー表示(リモートLV表示)を行える。
【0027】
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROMなどである。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラムなどが記録される。ここでいうプログラムとは、各種処理を実行するためのコンピュータプログラムのことである。
【0028】
システム制御部50は、少なくとも1つのプロセッサーまたは回路を有する制御部であ
り、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することによって、各処理を実現する。システムメモリ52は例えばRAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラムなどが展開される。また、システム制御部50は、メモリ32、画像処理部24、メモリ制御部15などを制御することによって表示制御も行う。システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【0029】
モード切替スイッチ60、シャッターボタン61、操作部70、および、電源スイッチ72は、システム制御部50に各種の動作指示を入力するために使用される。
【0030】
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモードなどがある。ユーザは、モード切替スイッチ60を用いて、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60を用いて、撮影モードの一覧画面に一旦切り替えた後に、表示部28に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0031】
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1に応答して、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理などの撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2に応答して、撮像部22a,22bからの信号読み出しから記録媒体90に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【0032】
なお、シャッターボタン61は全押しと半押しの2段階の操作ができる操作部材に限るものではなく、1段階の押下だけができる操作部材であってもよい。その場合は、1段階の押下に応答して撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合(第1シャッタースイッチ信号SW1と第2シャッタースイッチ信号SW2とがほぼ同時に発生した場合)と同じ動作である。
【0033】
操作部70は、表示部28に表示される種々の機能アイコンや選択肢を選択操作することなどによって、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面を見ながら操作部70を操作することによって、直感的に各種設定を行うことができる。
【0034】
電源スイッチ72は、電源のオン/オフを切り替えるための押しボタンである。電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路などによって構成され、電池の装着の有無、電池の種類、電池残量などの検出を
行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体90を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池などの一次電池、NiCd電池やNiMH電池、Li電池などの二次電池、ACアダプターなどからなる。
【0035】
記録媒体I/F18は、メモリーカードやハードディスクなどの記録媒体90とのインターフェースである。記録媒体90は、撮影された画像を記録するためのメモリーカードなどの記録媒体であり、半導体メモリや光ディスク、磁気ディスクなどから構成される。記録媒体90は、デジタルカメラ100に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ100に内蔵された記録媒体であってもよい。
【0036】
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号などの送受信を行う。通信部54は、無線LAN(Local Area Network)やインターネットにも接続可能である。通信部54は撮像部22a,22bで撮像した画像(LV画像を含む)や、記録媒体90に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。
【0037】
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22a,22bで撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部22a,22bで撮影された画像が、ヨー方向、ピッチ方向、ロール方向の3軸方向(回転方向)にデジタルカメラ100をどの程度傾けて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22a,22bで撮像されたVR画像の画像ファイルに付加したり、画像を回転(傾き補正(天頂補正)するように画像の向きを調整)して記録したりすることが可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの1つのセンサーまたは複数のセンサーの組み合わせを、姿勢検知部55として用いることができる。姿勢検知部55を構成する加速度センサー、ジャイロセンサー、方位センサーなどを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否かなど)を検知することも可能である。
【0038】
マイク20は、動画であるVR画像(VR動画)の音声として記録されるデジタルカメラ100の周囲の音声を集音するマイクロフォンである。接続I/F25は、外部機器と接続して映像の送受信を行うための、HDMI(登録商標)ケーブルやUSBケーブルなどが接続される接続プラグである。
【0039】
図2(a)は、本発明が適用された表示制御装置200の外観図である。表示制御装置200は、例えばスマートフォンなどの表示装置である。ディスプレイ205は画像や各種情報を表示する表示部である。ディスプレイ205はタッチパネル206aと一体的に構成されており、ディスプレイ205の表示面へのタッチ操作を検出できるようになっている。表示制御装置200は、VR画像(VRコンテンツ)をディスプレイ205においてVR表示することが可能である。操作部206bは表示制御装置200の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部206cと操作部206dは、スピーカー212bや、音声出力端子212aに接続されたイヤホンや外部スピーカーなどから出力する音声のボリュームを増減するボリュームボタンである。操作部206eは、ディスプレイ205にホーム画面を表示させるためのホームボタンである。音声出力端子212aはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力する端子である。スピーカー212bは音声を出力する本体内蔵スピーカーである。
【0040】
図2(b)は、表示制御装置200の構成例を示すブロック図である。内部バス250
に対してCPU201、メモリ202、不揮発性メモリ203、画像処理部204、ディスプレイ205、操作部206、記録媒体I/F207、外部I/F209、および、通信I/F210が接続されている。また、内部バス250に対して音声出力部212と姿勢検出部213も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができるようにされている。
【0041】
CPU201は、表示制御装置200の全体を制御する制御部であり、少なくとも1つのプロセッサーまたは回路からなる。メモリ202は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU201は、例えば、不揮発性メモリ203に格納されるプログラムに従い、メモリ202をワークメモリとして用いて、表示制御装置200の各部を制御する。不揮発性メモリ203には、画像データや音声データ、その他のデータ、CPU201が動作するための各種プログラムなどが格納される。不揮発性メモリ203は例えばフラッシュメモリやROMなどで構成される。
【0042】
画像処理部204は、CPU201の制御に基づいて、不揮発性メモリ203や記録媒体208に格納された画像や、外部I/F209を介して取得した映像信号、通信I/F210を介して取得した画像などに対して各種画像処理を施す。画像処理部204が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるVR画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部204は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部204を用いずにCPU201がプログラムに従って画像処理を施すことも可能である。
【0043】
ディスプレイ205は、CPU201の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU201は、プログラムに従い表示制御信号を生成し、ディスプレイ205に表示するための映像信号を生成してディスプレイ205に出力するように表示制御装置200の各部を制御する。ディスプレイ205は生成・出力された映像信号に基づいて映像を表示する。なお、表示制御装置200自体が備える構成としてはディスプレイ205に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ205は外付けのモニタ(テレビやHMDなど)で構成してもよい。
【0044】
操作部206は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。本実施形態では、操作部206は、タッチパネル206a、操作部206b,206c,206d,206eを含む。
【0045】
記録媒体I/F207には、メモリーカードやCD、DVDといった記録媒体208が着脱可能である。記録媒体I/F207は、CPU201の制御に基づき、装着された記録媒体208からのデータの読み出しや、記録媒体208に対するデータの書き込みを行う。記録媒体208は、ディスプレイ205で表示するための画像などのデータを記憶する記憶部である。外部I/F209は、有線ケーブル(USBケーブルなど)や無線によって外部機器と接続し、映像信号や音声信号の入出力(データ通信)を行うためのインターフェースである。通信I/F210は、外部機器やインターネット211などと通信(無線通信)して、ファイルやコマンドなどの各種データの送受信(データ通信)を行うためのインターフェースである。通信I/F210は、
図1に示したデジタルカメラ100の通信部54と通信することができる。表示制御装置200は、デジタルカメラ100に
よって撮像された画像(映像)を受信し、表示制御装置200のディスプレイ205に表示させることが可能である。
【0046】
音声出力部212は、表示制御装置200で再生する動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部212には、イヤホンなどを接続する音声出力端子212a、スピーカー212bが含まれるものとするが、音声出力部212は無線通信などで外部スピーカーに音声データを出力してもよい。
【0047】
姿勢検出部213は、重力方向に対する表示制御装置200の姿勢(傾き)や、ヨー方向、ピッチ方向、ロール方向の各軸に対する表示制御装置200の姿勢を検出し、CPU201へ姿勢情報を通知する。姿勢検出部213で検出された姿勢に基づいて、表示制御装置200が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示制御装置200の傾きの有無や大きさ、当該回転方向に表示制御装置200が回転したかなどを判別可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの1つのセンサーまたは複数のセンサーの組み合わせを、姿勢検出部213として用いることができる。
【0048】
上述したように、操作部206にはタッチパネル206aが含まれる。タッチパネル206aは、ディスプレイ205に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。CPU201はタッチパネル206aへの以下の操作、あるいは状態を検出できる。
・タッチパネル206aにタッチしていなかった指やペンが新たにタッチパネル206aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル206aを指やペンがタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた指やペンがタッチパネル206aから離れたこと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
【0049】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
【0050】
これらの操作・状態や、タッチパネル206a上に指やペンがタッチしている位置座標は内部バスを通じてCPU201に通知され、CPU201は通知された情報に基づいてタッチパネル206a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル206a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル206a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。
【0051】
タッチパネル206a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル20
6a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
【0052】
更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル206aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことによってタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことによってタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0053】
図2(c)は、表示制御装置200を装着可能なVRゴーグル(ヘッドマウントアダプター)230の外観図である。表示制御装置200は、VRゴーグル230に装着することによって、ヘッドマウントディスプレイとして使用することも可能である。挿入口231は、表示制御装置200を差し込むための挿入口である。ディスプレイ205の表示面を、VRゴーグル230をユーザの頭部に固定するためのヘッドバンド232側(すなわちユーザ側)に向けて表示制御装置200の全体をVRゴーグル230に差し込むことができる。ユーザは、表示制御装置200が装着されたVRゴーグル230を頭部に装着した状態で、手で表示制御装置200を保持することなく、ディスプレイ205を視認することができる。この場合は、ユーザが頭部または体全体を動かすと、表示制御装置200の姿勢も変化する。姿勢検出部213はこの時の表示制御装置200の姿勢変化を検出し、この姿勢変化に基づいてCPU201がVR表示のための処理を行う。この場合に、姿勢検出部213が表示制御装置200の姿勢を検出することは、ユーザの頭部の姿勢(ユーザの視線が向いている方向)を検出することと同等である。なお、表示制御装置200自体が、VRゴーグル無しでも頭部に装着可能なHMDであってもよい。
【0054】
図2(d)に、表示制御装置200が装着されたVRゴーグル230をユーザが装着した場合のVR表示の例を示す。人物240がVRゴーグル230を装着して正面(紙面手前側)を見ているときに、人物240には表示制御装置200によるVR表示245が見えているとする。VR表示245では、花が表示されている。人物240が頭部を下方向241に回転させると、VR表示245で見えている花は上方向246に移動するように見える。同様に、人物240が頭部を左方向242、上方向243、および右方向244に回転させると、VR表示245で見えている花はそれぞれ右方向247、下方向248、および左方向249に移動するように見える。このように、ユーザがVRゴーグル230を装着している場合には、CPU201はユーザの姿勢変化に応じてVR表示の表示範囲を変更する。
【0055】
VR表示の表示範囲の変更方法として、ユーザの姿勢を検出しない方式も利用可能である。
図3(a)~3(c)に、ユーザの姿勢を検出せず、タッチ操作により表示範囲を変更する例を示す。まず
図3(a)のように、CPU201は、タッチパネル206aに対するタッチダウンを検出する。タッチダウン時には、CPU201はVR表示の表示範囲を変更しない。次に
図3(b)のように、CPU201は、タッチパネル206aに対するタッチムーブを検出する。このとき、CPU201は、タッチムーブに応じた移動方向および移動量で広範囲画像(VR画像)が移動(スライド)するように、VR表示の表示範囲を移動させる。広範囲画像の移動方向(表示範囲の移動方向の逆方向)はタッチムーブの移動方向と同一であり、広範囲画像の移動量(表示範囲の移動量)はタッチムーブの移動量に比例する。最後に
図3(c)のように、CPU201は、タッチパネル206aからのタッチアップを検出する。タッチアップ時にはCPU201はVR表示の表示範囲
を変更しない。こうした方式では、VRゴーグルのような装置は不要である。
【0056】
デジタルカメラ100が行う配信処理の流れを、
図4のフローチャートを用いて説明する。
図4の配信処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することによって実現される。システム制御部50は、例えば、ユーザからの配信開始の指示に応じて、
図4の配信処理を開始する。なお、ライブ配信を行う例を説明するが、画像(映像)の配信は、ライブ配信でなくてもよい。
【0057】
図5(a)に、デジタルカメラ100で広範囲画像を撮影したときのデジタルカメラ100の周囲の被写体の位置関係の一例を示す。
図5(a)は位置関係を上方から見た図である。人物501~505は、デジタルカメラ100の周囲に位置しており、デジタルカメラ100によって撮影される。人物以外の被写体は省略している。デジタルカメラ100は撮影レンズ103aの光軸と撮影レンズ103bの光軸とが水平になるように設置されているものとする。デジタルカメラ100の基準方向506は、デジタルカメラ100の前方の撮影範囲の中心(撮影レンズ103aの光軸が向いている方向)であるとする。
図5(a)の状況で撮影した広範囲画像を正距円筒図法で展開すると、
図5(b)に示すような画像が得られる。
【0058】
S401では、システム制御部50は、デジタルカメラ100のユーザ(撮影者、配信者)によって指定された被写体を、視聴制限設定(配信された画像(映像)の視聴者による視聴を制限する設定)を行わない被写体に設定する。ユーザは1つの被写体を指定してもよいし、複数の被写体を指定してもよい。被写体を指定するユーザ操作は、例えば、デジタルカメラ100を特定のモードに設定した上で、被写体を撮影する操作であってもよい。またユーザ操作は、被写体の写った画像を記録した記録媒体90をデジタルカメラ100に挿入した上で、システム制御部50にその画像中の被写体を検出させ、検出された被写体の中から特定の被写体を選択する操作などであってもよい。例えば、デジタルカメラ100のユーザは、自分の顔を視聴者に見せたければ、自分の顔を指定すればよい。それによって、デジタルカメラ100のユーザの顔について視聴制限設定が行われることを防ぐことができる。ここでは、
図5(b)の人物501のみを、視聴制限設定を行わない被写体として設定したとする。
【0059】
S402では、システム制御部50は、ユーザ操作に応じて、被写体の視聴制限設定を行わない画角(広範囲画像の所定の方向(水平方向)の範囲のうちの特定の範囲)を設定する。1つの画角を設定してもよいし、複数の画角を設定してもよい。ユーザ操作は、例えば、デジタルカメラ100の設定画面で、レンズ103aで撮影される範囲の画角について被写体の視聴制限設定を行わないように設定する操作であってもよい。またユーザ操作は、デジタルカメラ100の設定画面で1度から180度までの任意の角度を入力する操作であってもよい。45度の角度が入力された場合は、例えば、システム制御部50は、特定の被写体(例えばS401で設定した被写体)の左右45度ずつ、合計90度の画角について被写体の視聴制限設定を行わないように設定する。特定の被写体を中心とする画角ではなく、
図5(a)の基準方向506を中心とする画角を設定してもよい。デジタルカメラ100はライブ会場に設置されてもよい。その場合に、ライブ演奏の演者たちがデジタルカメラ100の一定の画角に収まることが明らかであれば、デジタルカメラ100のユーザは、その画角を、被写体の視聴制限設定を行わない画角として指定してもよい。それによって、演者について視聴制限設定が行われることを防ぐことができる。
【0060】
S403では、システム制御部50は、撮像部22a,22bなどを制御して、広範囲画像を取得する。
【0061】
S404では、システム制御部50は、S403で取得した広範囲画像から制限被写体を検出する。制限被写体は、配信された画像(映像)の視聴者による視聴を制限すべき特定の被写体である。制限被写体の検出は、例えば、機械学習による学習済みモデルを用いたパターンマッチングである。なお、制限被写体は、デジタルカメラ100のユーザによって指定されてもよい。例えば、デジタルカメラ100にディスプレイとそれに重畳されたタッチパネルとが備わっている場合には、ディスプレイに表示された被写体をユーザがタッチすることよって、タッチされた被写体が制限被写体として設定されてもよい。
【0062】
S404で検出される制限被写体は、例えば、配信する画像に写り込むと他者の権利を侵害してしまう虞のある被写体である。具体的には、撮影者とは面識のない第三者や、街の広告に描かれている著作物などである。これらが配信する画像に写り込むと、前者は肖像権やプライバシー権を、後者は著作権を侵害してしまう虞がある。制限被写体は、タバコを吸っている人物やグラビア画像のような、視聴に年齢制限が設けられている被写体であってもよい。そのような、一部の視聴者のみの視聴を制限すべき被写体も、制限被写体に設定してよい。例えば、タバコを吸っている人物の画像の視聴が制限されるべき視聴者は、法律上は、特定の国籍かつ特定の年齢の視聴者に限られるが、S404では、システム制御部50は、タバコを吸っている人物も制限被写体に設定してよい。国籍や年齢などの要件から視聴を制限する必要がないと判断される視聴者に対しては、後述の
図8の処理によって、制限被写体の視聴制限設定を解除することができる。
【0063】
システム制御部50は、S404で検出された制限被写体ごとに、S405~S407の処理を行う。このとき、処理対象の制限被写体はランダムに選ばれてもよいし、そうでなくてもよい。例えば、広範囲画像においてS401で設定した被写体から遠い制限被写体(S401で設定した被写体の所在角度(方位角)と制限被写体の所在角度との差の絶対値が大きい制限被写体)から順に選択してもよい。全ての制限被写体についてS405~S407の処理が行われると、S408に進む。
【0064】
S405では、システム制御部50は、処理対象の制限被写体について、視聴制限設定を行うか否かを判定する。視聴制限設定を行うと判定した場合はS406に進み、そうでない場合は、処理対象の制限被写体についてのS405~S407の処理を終了する。制限被写体が、S401で設定した被写体、またはS402で設定した画角に含まれている被写体である場合は、システム制御部50は、視聴制限設定を行わないと判定する。そうでない場合は、システム制御部50は、視聴制限設定を行うと判定する。
【0065】
S401で、
図5(b)の人物501が、視聴制限設定を行わない被写体として設定され、S402で、被写体の視聴制限設定を行わない画角が設定されなかったとする。そして、S404で、人物501~505が制限被写体として検出されたとする。その場合には、人物502~人物505について視聴制限設定を行うと判定される。
【0066】
S406では、システム制御部50は、処理対象の制限被写体について行う視聴制限設定を決定する決定処理を行う。視聴制限設定の決定処理の詳細は、
図6を用いて後述する。
【0067】
S407では、システム制御部50は、処理対象の制限被写体について、S406で決定した視聴制限設定を行う(有効にする)。
【0068】
S408では、システム制御部50は、広範囲画像と各制限被写体の情報(識別情報、領域、所在角度、所在画角、視聴制限設定など)を含んだ配信データを、視聴者が持つ表示装置(例えば、表示制御装置200)に配信する。表示装置での処理の詳細は、
図8を用いて後述する。
【0069】
S409では、システム制御部50は、ユーザ操作に応じて、配信を継続するか否かを判定する。配信を継続する場合はS403に進み、継続しない場合はS410に進む。
【0070】
S410では、システム制御部50は、配信を停止する。
【0071】
図6に、視聴制限設定の決定処理(
図4のS406)のフローチャートを示す。
図6の決定処理では、制限被写体の所在画角を非表示にするように設定すること(非表示設定)を決定する処理と、制限被写体の視認性を下げる画像処理を行うように設定すること(視認性低減設定)を決定する処理とのいずれかを選択的に実行する。視認性を下げる画像処理は、例えば、モザイク処理やぼかし処理などである。前者の処理はS611の処理であり、後者の処理はS610の処理である。
【0072】
S601では、システム制御部50は、広範囲画像の所定の方向(水平方向)の範囲のうち、処理対象の制限被写体を含む範囲を、当該制限被写体の所在画角として設定する。例えば、制限被写体である人物701の所在画角として、
図7(a)のように人物701を含む最小の画角702が設定されてもよいし、
図7(b),7(c)のように画角702よりも広い画角703や画角704が設定されてもよい。また制限被写体の端(画角702の端)の方位角と、所在画角の端の方位角との間の幅705は、全ての制限被写体に対して共通であってもよいし、制限被写体に応じて変化させてもよい。例えば、制限被写体の検出結果の確度(信頼度)が低いほど幅705が広くてもよいし、広範囲画像内での制限被写体の移動速度が速いほど幅705が広くてもよい。また、所在画角の右端と左端とで幅705が異なっていてもよい。例えば、制限被写体が広範囲画像の右側に向かって移動している場合には、左側の幅705に比べて広い幅を、右側の幅705として設定してもよい。
【0073】
S602では、システム制御部50は、処理対象の制限被写体が、既に非表示設定が決定されている別の制限被写体の所在画角に含まれているか否かを判定する。処理対象の制限被写体が別の制限被写体の所在画角に含まれている場合はS611に進み、そうでない場合はS603に進む。ここでは、処理対象の制限被写体の全体が別の制限被写体の所在画角に含まれているか否かを判定してもよいし、処理対象の制限被写体の少なくとも一部が別の制限被写体の所在画角に含まれているか否かを判定してもよい。処理対象の制限被写体の所定割合以上が別の制限被写体の所在画角に含まれているか否かを判定してもよい。
【0074】
S603では、システム制御部50は、広範囲画像における、処理対象の制限被写体とS401で設定した被写体との間の水平方向の距離が閾値より長いか否かを判定する。距離が閾値より長い場合はS611に進み、そうでない場合はS603に進む。ここで、広範囲画像における2つの被写体の間の水平方向の距離は、一方の被写体の所在角度(方位角)と他方の被写体の所在角度との差の絶対値に対応する。また、システム制御部50は、デジタルカメラ100の基準方向にS401で設定した被写体があるものとみなして判定を行ってもよい。例えば
図5(b)の状況(S401で人物501が視聴制限設定を行わない被写体として設定された状況)であれば、人物501および基準方向506の所在角度0°までの距離が閾値よりも長いか否かが判定される。S401で複数の被写体が視聴制限設定を行わない被写体として設定された場合には、当該複数の被写体のうち、処理対象の制限被写体から最も近い被写体までの距離が閾値よりも長いか否かを判定してもよい。
【0075】
ここで、処理対象の制限被写体の所在角度とS401で設定した被写体の所在角度との差の絶対値として、180°以下の値と、180°以上の値との2つが得られる。閾値と
比較されるのは、これら2つの値(時計回りの角度と反時計回りの角度)のうちの小さい方の値(180°以下の値)である。例えば、
図5(b)の人物505についてS603の処理を行う場合には、人物505の所在角度210°と人物501の所在角度0°の差の絶対値として、150°と210°が得られる。S602では、システム制御部50は、150°が閾値より大きいか否かを判定する。
【0076】
S604では、システム制御部50は、広範囲画像における、処理対象の制限被写体の所在画角に対応する領域のサイズに対する、当該制限被写体の領域のサイズの割合を算出し、その割合が閾値より大きいか否かを判定する。算出した割合が閾値より大きい場合はS611に進み、そうでない場合はS605に進む。例えば、
図5(b)の人物505についてS604の処理を行う場合には、人物505の所在画角507に対応する領域のサイズに対する、人物505の領域のサイズの割合が、閾値より大きいか否かを判定する。特定の画角の大部分の視聴が視認性低減設定に従って制限される場合は、その画角に視聴者が視聴したい被写体が写っている可能性は低い。そうした場合には、
図10を用いて後述する操作性などの観点から、その画角自体を非表示としたほうが、視聴者にとっては好ましいことが多い。そのため、S604において算出した割合が閾値よりも大きい場合には、S611に進むようにしている。また、処理対象の制限被写体を含む複数の制限被写体の間で所在画角が重複または近接する場合には、複数の制限被写体それぞれの領域の合計サイズの、複数の制限被写体の所在画角を含む画角に対応する領域のサイズに対する割合が算出されてもよい。複数の制限被写体の所在画角を含む画角は、例えば、複数の制限被写体の所在画角の最小の方位角から最大の方位角までの範囲である。
【0077】
S605では、システム制御部50は、広範囲画像における、処理対象の制限被写体の水平方向の移動速度を検出し、その移動速度が閾値より遅いかを判定する。移動速度が閾値よりも遅い場合はS611に進み、そうでない場合はS606に進む。
【0078】
S606では、システム制御部50は、配信の全視聴者数に対する、処理対象の制限被写体の視聴者数の割合を算出し、その割合が閾値より小さいか否かを判定する。算出した割合が閾値よりも小さい場合はS611に進み、そうでない場合はS607に進む。配信の全視聴者数、および処理対象の制限被写体の視聴者数は、例えば、視聴者の表示装置からの信号に基づいて算出することができる。例えば、或る視聴者が
図5(b)の人物505(画角507)を視聴しているか否かは、その視聴者の表示装置の表示面の中心(例えばディスプレイ205の表示面の中心)に画角507が表示されているか否かで判定することができる。なお、上記割合の代わりに、配信の視聴者全体から抽出した小集団における視聴者数に対する処理対象の制限被写体の視聴者数の割合を算出してもよい。
【0079】
S607では、システム制御部50は、既に非表示設定が決定されている制限被写体が存在するか否か(非表示に設定される所在画角が既にあるか否か)を判定する。既に非表示設定が決定されている制限被写体が存在すると判定された場合はS608に進み、そうでない場合はS611に進む。
【0080】
S608では、システム制御部50は、既に非表示設定が決定されている制限被写体の所在画角の合計サイズ(重複分は含まない)が閾値より小さいか否かを判定する。合計サイズ(合計角度)が閾値より小さい場合はS611に進み、そうでない場合はS609に進む。なお、既に非表示設定が決定されている全ての制限被写体の所在画角と、処理対象の制限被写体の所在画角との合計サイズが閾値より小さいか否かを判定してもよい。
【0081】
S609では、システム制御部50は、広範囲画像における、既に非表示設定が決定されている制限被写体の所在画角と、処理対象の制限被写体との間の水平方向の距離が閾値より大きいか否かを判定する。距離の定義は特に限定されないが、既に非表示設定が決定
されている制限被写体の所在画角の端と、処理対象の制限被写体との間の水平方向の距離が閾値と比較されるとする。例えば、既に非表示設定が決定されている制限被写体の所在画角の端に対応する方位角と、処理対象の制限被写体の所在角度との差の絶対値(2つのうちの小さい方)が閾値と比較される。距離が閾値よりも長い場合はS610に進み、そうでない場合はS611に進む。処理対象の制限被写体の所在画角が、既に非表示設定が決定されている別の制限被写体の所在画角と隣接している、あるいは一部重複している場合にのみ、S611に進んでもよい。
【0082】
S610では、システム制御部50は、処理対象の制限被写体に対し、視聴制限設定として、視認性低減設定を行う決定をする。
【0083】
S611では、システム制御部50は、処理対象の制限被写体に対し、視聴制限設定として、非表示設定を行う決定をする。
【0084】
なお、
図6の決定処理で使用する各種閾値は、予め定められた固定値であってもよいし、制限被写体に応じてシステム制御部50が個別に算出した値であってもよいし、ユーザからの入力に応じて設定された値であってもよい。
【0085】
表示制御装置200が行う配信画像(配信映像)の表示処理の流れを、
図8のフローチャートを用いて説明する。
図8の表示処理は、CPU201が、不揮発性メモリ203に格納されたプログラムをメモリ202に展開して実行することによって実現される。CPU201は、例えば、視聴者からの視聴開始の指示に応じて、
図8の処理を開始する。
【0086】
S801では、CPU201は、通信I/F210を介して、S408でデジタルカメラ100から配信された配信データを受信する。この配信データには、広範囲画像と各制限被写体の情報(識別情報、領域、所在角度、所在画角、視聴制限設定など)が含まれている。
【0087】
CPU201は、視聴制限設定がされた制限被写体ごとに、S802~S806の処理を行う。視聴制限設定がされた全ての制限被写体についてS802~S806の処理が行われると、S807に進む。
【0088】
S802では、CPU201は、表示制御装置200を使用する視聴者に対して、処理対象の制限被写体の視聴を制限すべきか否かを判定する。視聴を制限すべきである場合はS804に進み、そうでない場合はS803に進む。この判定には、例えば、表示制御装置200に関連付けられている配信視聴用アプリケーションのアカウント情報を用いる。ここで用いられるアカウント情報は、例えば年齢や国籍などの個人情報である。例えば、
図4のS404で、システム制御部50が、タバコを吸っている人物を制限被写体として検出することがある。しかし、タバコを吸っている人物の視聴が制限されるべき視聴者は、特定の国籍かつ特定の年齢層の視聴者に限定される。S802では、CPU201は視聴者のアカウント情報を参照し、当該視聴者が特定の国籍かつ特定の年齢層に該当しない場合に、タバコを吸っている人物(制限被写体)の視聴を制限する必要がないと判定し、S803に進んでよい。
【0089】
S803では、CPU201は、処理対象の制限被写体の視聴制限設定を解除し(無効にし)、処理対象の制限被写体についてのS802~S806の処理を終了する。変更後の視聴制限設定の情報(解除、無効の情報)は、制限被写体と紐づけてメモリ202に格納され、次回のS801で受信した配信データに反映されてもよい。
【0090】
S804では、CPU201は、処理対象の制限被写体の視聴制限設定が非表示設定で
あるか否かを判定する。非表示設定である場合はS805に進み、そうでない場合(視認性低減設定である場合)は、処理対象の制限被写体についてのS802~S806の処理を終了する。
【0091】
S805では、CPU201は、表示制御装置200において、広範囲画像のうち表示する範囲(表示範囲)を、表示制御装置200の姿勢の変化に応じて変化する設定がされているか否かを判定する。そのような設定がされている場合はS806に進み、そうでない場合は、処理対象の制限被写体についてのS802~S806の処理を終了する。例えば表示制御装置200が、
図2(c)のVRゴーグル230に装着されており、視聴者の頭部の姿勢を検出して表示範囲を変化させる場合には、S806に進む。また視聴者がVRゴーグル230を使用せず、表示制御装置200が
図3(a)~3(c)に示すようなタッチ操作に応じて表示範囲を変化させる場合には、処理対象の制限被写体についてのS802~S806の処理を終了する。
【0092】
S806では、CPU201は、処理対象の制限被写体の視聴制限設定を、非表示設定から視認性低減設定に変更する。視聴者の姿勢の変化に応じて表示範囲を変化させる場合には、そうでない場合よりも広範囲画像の一部の画角が非表示になることによって視聴者が抱く違和感が比較的大きくなると考えられる。S806の処理により、その違和感を低減することができる。上述したように、変更後の視聴制限設定の情報は、制限被写体と紐づけてメモリ202に格納され、次回のS801で受信した配信データに反映されてもよい。
【0093】
S807では、CPU201は、各制限被写体の視聴制限設定に従って広範囲画像に対し制限被写体の視聴を制限する視聴制限処理(非表示化、モザイク処理、ぼかし処理など)を行う。
【0094】
S808では、CPU201は、視聴制限処理後の広範囲画像をディスプレイ205に表示する。
【0095】
図9(a)は、S807の視聴制限処理が行われる前の広範囲画像を示す模式図である。ここで、人物901は
図4のS401で設定した被写体(視聴制限設定を有効にしない被写体)である。人物902はS404で検出された制限被写体であり、
図6のS601において画角904が人物902の所在画角として設定され、S407において人物902(画角904)非表示設定が有効にされている。ここで、画角904は30°の範囲である。人物903はS404で検出された制限被写体であり、S407において人物903の視認性低減設定が有効にされている。ここではS803において人物902,903の視聴制限設定は無効にされておらず、S805において、姿勢の変化に応じて広範囲画像の表示範囲を変化させる設定がされていないと判定されたとする。
【0096】
図9(b)は、S807の視聴制限処理が行われた後の広範囲画像を示す模式図である。S808では、例えば、
図9(b)の広範囲画像が表示される。
図9(a)の画角904は、人物902の非表示設定に従って非表示にされるため、広範囲画像は画角904の両端同士を繋ぎ合わせたような態様で表示される。つまり視聴者は、全体画角が360°の
図9(a)のような広範囲画像ではなく、全体画角が330°の広範囲画像を視聴する。この際、画角904に対応する位置に直線906などを配置して、画角904を非表示にしていることを識別可能にしてもよい。領域905は、
図9(a)の人物903の領域である。領域905は、人物903の視認性低減設定に従ってモザイク処理が施された状態で表示される。
【0097】
S809では、CPU201は、制限被写体の視聴制限設定を、非表示設定から視認性
低減設定に変更する変更操作がされたか否かを判定する。変更操作がされた場合はS810に進み、そうでない場合はS811に進む。ここでの変更操作は、例えば、非表示となっている画角を表示するための操作であり、タッチパネル206aの、
図9(b)の直線906に対応する位置でタッチダウンした後にタッチアップする操作である。
【0098】
S810では、CPU201は、S809で検出された変更操作に応じて、制限被写体の視聴制限設定を非表示設定から視認性低減設定に変更して、広範囲画像の表示を更新する。
図9(c)は、
図9(b)に示す状況において人物902の視聴制限設定を非表示設定から視認性低減設定に変更した場合に表示される広範囲画像の模式図である。
図9(b)において非表示になっていた画角904が表示され、人物902の領域908は視認性低減設定に従ってモザイク処理が施された状態で表示される。S810で表示された画角(S808で非表示であった画角)と、それ以外の画角とを視聴者が区別しやすくするために、あるいはそれ以外の目的のために、S810で表示された画角の画像に網掛け処理などを行ってもよい。またこのとき、視認性低減設定の制限被写体の近傍に、制限被写体として検出された理由を表す文言などを表示してもよい。上述したように、変更後の視聴制限設定の情報は、制限被写体と紐づけてメモリ202に格納され、次回のS801で受信した配信データに反映されてもよい。
【0099】
S811では、CPU201は、制限被写体の視聴制限設定を視認性低減設定から非表示設定に変更する変更操作がされたか否かを判定する。変更操作がされたと判定された場合はS812に進み、そうでない場合はS813に進む。ここでの変更操作は、例えば、S809の変更操作に応じてS810で表示した画角を再び非表示にするための操作であり、タッチパネル206aの、
図9(c)の画角904に対応する位置でタッチダウンした後にタッチアップする操作である。視聴制限設定の初期値が視認性低減設定であった被写体(S808でモザイク処理が施されていた被写体)の視聴制限設定を視認性低減設定から非表示設定に変更できてもよい。
【0100】
S812では、CPU201は、S811で検出された変更操作に応じて、制限被写体の視聴制限設定を視認性低減設定から非表示設定に変更して、広範囲画像の表示を更新する。上述したように、変更後の視聴制限設定の情報は、制限被写体と紐づけてメモリ202に格納され、次回のS801で受信した配信データに反映されてもよい。
【0101】
S813では、CPU201は、配信画像の表示を停止するか否かを判定する。停止する場合は
図8の表示処理を終了し、そうでない場合はS801に進む。
【0102】
以上述べたように、本実施形態によれば、配信する広範囲画像に写った特定の被写体について視聴制限設定が行われ、視聴制限設定に従って特定の被写体の視聴が制限される。これにより、広範囲画像の配信時に、配信者の意図に反して特定の被写体が広範囲画像内に写り込んだ場合に、当該特定の被写体の視聴を視聴者に対して制限することができる。これにより、例えば、配信者が第三者の写り込みによって肖像権やプライバシー権を侵害したり、著作物の写り込みによって著作権を侵害したりするリスクを低減させることができる。
【0103】
さらに、本実施形態によれば、制限被写体の含まれる画角を非表示にすることで、視聴者が制限被写体を視認する可能性を下げることもできる。例えば、モザイク処理やぼかし処理などの画像処理で制限被写体の視聴を制限する場合に、その処理の程度によっては、制限被写体が何かを視聴者が判別できてしまうリスクがある。また、制限被写体をパターンマッチングなどで検出する場合に、その検出の精度は必ずしも高くない。例えば、制限被写体を実際より小さく検出したり、制限被写体の移動速度が速い場合に実際の位置とは異なる位置を制限被写体の位置として検出したりするリスクがある。このため、
図6の決
定処理では、所在画角を非表示にする方法が特に有用である場合(上述したような種々のリスクが高い場合)、および視認性を下げる画像処理を行う処理の有用性が低い場合に、制限被写体の所在画角を非表示にする。
【0104】
また、制限被写体の所在画角を非表示にすることで視聴者の操作性を向上することができる。
図10(a)は、制限被写体の所在画角を非表示にする前の広範囲画像を示す。ここでは、S401で設定した被写体である人物1001(視聴制限設定を有効にしない被写体)と、時計1002との間に、制限被写体であり、所在画角が互いに一部重複する人物群1003(複数の人物)が位置している。人物群1003に含まれる人物全てに対し、モザイク処理などを行う場合には、画角1004の大部分にモザイク処理などが施された状態になる。このような場合には、視聴者からの指示に応じて広範囲画像の表示範囲を変化させる際に、画角1004は非表示となっていたほうが、視聴者にとって操作性がよい。例えば、ディスプレイ205に、
図10(a),10(b)の時計1002が表示されていて、人物1001は表示されていない場合が想定される。このような場合には、視聴者が人物1001を表示させるために、
図3(a)~3(c)に示すようなタッチ操作で広範囲画像の表示範囲を変更する必要がある。このとき、
図10(b)のように、画角1004が非表示になっていると、そうでない場合(
図10(a))に比べて短いタッチムーブで人物1001を表示させることができる。
【0105】
また、本実施形態では、視聴者が制限被写体の視聴制限設定を変更できるとしたが、視聴者は制限被写体の視聴制限設定を変更できなくてもよい。このような場合には、デジタルカメラ100(システム制御部50)は、視聴制限処理を行い、視聴制限処理後の広範囲画像を配信または保存してもよい。例えば、デジタルカメラ100(システム制御部50)は、制限被写体の所在画角の非表示化を行い、全体画角が360°未満の広範囲画像を配信または保存してもよい。これにより、配信者の意図に反して視聴者が制限被写体を視聴することを抑制できる。従って、この方法は、配信者が視聴者に制限被写体を視聴させたくない場合に有効である。
【0106】
また、非表示にする画角は、広範囲画像から除去してもよいし、ダミー画像で置き換えてもよい。画角が360°未満の画像(静止画または動画)の投稿が困難又は不可能な配信サイトを利用する場合には、デジタルカメラ100(システム制御部50)は、ダミー画像を使って、全体画角が360°の広範囲画像を配信サイトに投稿してもよい。ダミー画像には、予め撮影された画像(例えば、非表示にする画角の画像であり、制限被写体が写っていない画像)であってもよいし、そうでなくてもよい(例えば黒画像など)。また、非表示にする画角であることを示す文言、または非表示にする理由を示す文言などをその画角に対応付けて表示することにより、当該画角が非表示にされていることを識別可能にしてもよい。
【0107】
なお、システム制御部50が行うものとして説明した上述の各種制御は、1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。CPU201が行うものとして説明した上述の各種制御についても同様である。
【0108】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0109】
また、上述した実施形態においては、本発明を撮像装置(デジタルカメラ)および表示制御装置に適用した場合を例にして説明したが、これはこの例に限定されず、広範囲画像
を取得することが可能な電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置(投影装置を含む)、タブレット端末、スマートフォン、AIスピーカー、家電装置や車載装置などに適用可能である。
【0110】
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
【0111】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0112】
本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
(構成1)
画像を取得する取得手段と、
前記画像から特定の被写体を検出する検出手段と、
前記画像の所定の方向の範囲のうち、前記検出手段によって検出された前記特定の被写体を含む範囲を、非表示にするように設定する設定手段と
を有することを特徴とする電子機器。
(構成2)
前記設定手段は、前記特定の被写体を含む範囲を非表示にするように設定する処理と、前記特定の被写体の視認性を下げる画像処理を行うように設定する処理とを選択的に実行する
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記画像処理は、モザイク処理である
ことを特徴とする構成2に記載の電子機器。
(構成4)
前記画像処理は、ぼかし処理である
ことを特徴とする構成2に記載の電子機器。
(構成5)
前記設定手段は、既に非表示にするように設定されている範囲に、前記特定の被写体が含まれる場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~4のいずれかに記載の電子機器。
(構成6)
前記設定手段は、前記特定の被写体と、ユーザにより指定された被写体との間の距離が閾値よりも長い場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~5のいずれかに記載の電子機器。
(構成7)
前記設定手段は、非表示にするように設定される前記特定の被写体を含む範囲に対応する領域のサイズに対する前記特定の被写体の領域のサイズの割合が閾値よりも大きい場合
に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~6のいずれかに記載の電子機器。
(構成8)
前記設定手段は、前記特定の被写体の移動速度が閾値よりも遅い場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~7のいずれかに記載の電子機器。
(構成9)
前記設定手段は、全視聴者数に対する前記特定の被写体の視聴者数の割合が閾値よりも小さい場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~8のいずれかに記載の電子機器。
(構成10)
前記設定手段は、既に非表示にするように設定されている範囲がない場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~9のいずれかに記載の電子機器。
(構成11)
前記設定手段は、既に非表示にするように設定された範囲の合計サイズが閾値よりも小さい場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~10のいずれかに記載の電子機器。
(構成12)
前記設定手段は、既に非表示にするように設定された範囲と、前記特定の被写体との間の距離が閾値よりも短い場合に、前記特定の被写体を含む範囲を非表示にするように設定する
ことを特徴とする構成1~11のいずれかに記載の電子機器。
(構成13)
前記設定手段は、ユーザによって指定された被写体については処理を行わない
ことを特徴とする構成1~12のいずれかに記載の電子機器。
(構成14)
前記設定手段は、前記画像の前記所定の方向の範囲のうち、特定の範囲にある前記特定の被写体については処理を行わない
ことを特徴とする構成1~13のいずれかに記載の電子機器。
(構成15)
構成1~14のいずれかに記載の電子機器から画像を受信する受信手段と、
前記受信手段により受信した前記画像を表示部に表示するように制御する制御手段と、
ユーザのアカウント情報に応じて、前記電子機器により前記特定の被写体に対してされた設定を解除する変更手段と
を有することを特徴とする表示制御装置。
(構成16)
構成1~14のいずれかに記載の電子機器から画像を受信する受信手段と、
前記画像の一部の範囲を表示部に表示するように制御する制御手段と、
前記画像のうち表示する範囲を前記表示部の姿勢の変化に応じて変更する設定がされている場合に、前記特定の被写体を含む範囲を非表示にする設定を、前記特定の被写体の視認性を下げる画像処理を行う設定に変更する変更手段と
を有することを特徴とする表示制御装置。
(構成17)
構成1~14のいずれかに記載の電子機器から画像を受信する受信手段と、
前記受信手段により受信した前記画像を表示部に表示するように制御手段と、
ユーザ操作に応じて、特定の被写体を含む範囲を非表示にする設定を、前記特定の被写体の視認性を下げる画像処理を行う設定に変更する変更手段と
を有する
ことを特徴とする表示制御装置。
(構成18)
前記変更手段は、ユーザ操作に応じて、前記特定の被写体の視認性を下げる画像処理を行う設定を、前記特定の被写体を含む範囲を非表示にする設定に変更する
ことを特徴とする構成15~17のいずれかに記載の表示制御装置。
(構成19)
前記制御手段は、前記特定の被写体を含む範囲を非表示にする場合に、非表示にしていることを識別可能に前記特定の被写体を含む範囲を非表示にするように制御する
ことを特徴とする構成15~18のいずれかに記載の表示制御装置。
(方法)
画像を取得する取得ステップと、
前記画像から特定の被写体を検出する検出ステップと、
前記画像の所定の方向の範囲のうち、前記検出ステップによって検出された前記特定の被写体を含む範囲を非表示にするように設定する設定ステップと
を有することを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1~14のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
(媒体)
コンピュータを、構成1~14のいずれかに記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。
【符号の説明】
【0113】
100:デジタルカメラ 50:システム制御部
200:表示制御装置 201:CPU 210:通信I/F