特開 2024-175230 画像撮影方法及び画像撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175230

(43)【公開日】2024-12-18

(54)【発明の名称】画像撮影方法及び画像撮影装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241211BHJP

   G03B 15/00 20210101ALI20241211BHJP

   G03B 17/38 20210101ALI20241211BHJP

【ＦＩ】

H04N23/60

G03B15/00 F

G03B17/38 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023092830

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】鷲見 典克

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA07

5C122FA02

5C122FH11

5C122GA24

5C122GD12

5C122GG03

5C122GG04

5C122HA75

5C122HA86

5C122HB01

(57)【要約】

【課題】プライバシーを確保しつつ。ユーザの周囲の画像情報を記録する。
【解決手段】画像撮影装置１は、画像センサ２と、演算装置３と、を有する。画像センサ２は、いわゆるウェアラブルデバイスとしてユーザに装着されるものであって、保護エリア用照明４のフリッカー現象を検出可能なものである。保護エリア用照明４は、ユーザのプライバシーが保護されるエリアの天井に設置された照明である。演算装置３は、保護エリア用照明４に固有のフリッカー現象が検出された場合にユーザの周囲を撮影した画像（画像情報）の記録（録画）を停止させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの周囲の画像情報を取得し、
上記画像情報からユーザのプライバシーが保護されるエリアに設置される保護エリア用照明に固有の形状、フリッカー現象あるいは不可視光の波長のいずれかが検出された場合に取得した上記画像情報の記録を停止することを特徴とする画像撮影方法。

【請求項2】

上記保護エリア用照明に固有の形状、フリッカー現象あるいは不可視光の波長のいずれも検出されない場合は、上記画像情報の記録を継続することを特徴とする請求項１に記載の画像撮影方法。

【請求項3】

上記画像情報は、ユーザが装着するウェアラブルデバイスによって撮影されることを特徴とする請求項１に記載の画像撮影方法。

【請求項4】

上記フリッカー現象は、可視光または不可視光による上記保護エリア用照明に固有の明滅パターンであることを特徴とする請求項１に記載の画像撮影方法。

【請求項5】

ユーザによるスイッチ操作の有無や予め設定された時刻に関する条件の成立の可否に基づいて上記画像情報の記録を禁止するプライバシーモードの成立／不成立を決定し、上記プライバシーモードの成立中、上記保護エリア用照明のフリッカー現象が所定の時間パターンで明滅するよう制御することを特徴とする請求項１に記載の画像撮影方法。

【請求項6】

上記保護エリア用照明に固有のフリッカー現象の明滅パターンを検知すると上記画像情報の記録を停止することを特徴とする請求項５に記載の画像撮影方法。

【請求項7】

重力センサの検出信号を取得し、上記重力センサの検出情報を利用して上記画像情報から天井に設置された照明を識別し、天井に設置された照明を対象として上記画像情報の記録を継続するか停止するかを判定する請求項１に記載の画像撮影方法。

【請求項8】

上記画像情報から撮影された物体の形状を推定し、上記保護エリア用照明の有無を判定することを特徴とする請求項１に記載の画像撮影方法。

【請求項9】

上記ユーザの姿勢情報を取得し、上記姿勢情報を利用して上記画像情報から天井に設置された照明を識別し、天井に設置された照明のみを対象として上記画像情報の記録を継続するか停止するかを判定する請求項１に記載の画像撮影方法。

【請求項10】

ユーザの周囲の画像情報を取得可能な画像情報取得部と、
上記画像情報からユーザのプライバシーが保護されるエリアに設置される保護エリア用照明に固有の形状、フリッカー現象あるいは不可視光の波長のいずれかを検出する照明検出部と、
取得した上記画像情報の記録が可能な画像情報記録部と、を有し、
上記画像情報記録部は、上記保護エリア用照明に固有の形状またはフリッカー現象のいずれかが検出された場合に上記画像情報の記録を停止することを特徴とする画像撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像撮影方法及び画像撮影装置に関する。

【背景技術】

【0002】

例えば、特許文献１には、カメラが撮影することにより得られる観察領域の撮影画像の録画をユーザに操作されたコントローラーから送られた録画禁止指示により停止する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１２６５５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１においては、ユーザが録画禁止指示の操作を行わないと撮影画像の録画を継続されるため、観察領域内にいる観察対象者のプライバシーが保護されなくなる虞がある。つまり、ユーザのプライバシーを確保しつつユーザの周囲の画像情報を記録するためには、更なる改善の余地がある。

【課題を解決するための手段】

【0005】

本発明は、ユーザの周囲の画像情報を取得し、上記画像情報から上記ユーザのプライバシーが保護されるエリアに設置される保護エリア用照明に固有の形状、フリッカー現象あるいは不可視光の波長のいずれかが検出された場合に取得した上記画像情報の記録を停止することを特徴としている。

【発明の効果】

【0006】

本発明によれば、プライバシーが保護されるエリアでは、画像情報に基づいて画像情報の記録を停止することが可能となり、ユーザのプライバシーを確実に保護することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の第１実施例における画像撮影装置の概略構成を示すブロック図。

【図2】第１実施例の画像撮影装置における制御の流れを示すフローチャート。

【図3】保護エリア用照明のフリッカーパターンを変更する際の制御の流れを示すフローチャート。

【図4】保護エリア用照明のフリッカーパターンが制御される画像撮影装置の制御の流れを示すフローチャート。

【図5】第２実施例における画像撮影装置の概略構成を示すブロック図。

【図6】第２実施例において天井の方向を判定する際の制御の流れを示すフローチャート。

【図7】第３実施例における画像撮影装置の概略構成を示すブロック図。

【図8】第３実施例の画像撮影装置における制御の流れを示すフローチャート。

【図9】本発明の第４実施例における画像撮影装置の概略構成を示すブロック図。

【図10】第４実施例において天井の方向を判定する際の制御の流れを示すフローチャート。

【発明を実施するための形態】

【0008】

以下、本発明の一実施例を図面に基づいて詳細に説明する。

【0009】

図１は、本発明の第１実施例における画像撮影装置１の概略構成を示すブロック図である。

【0010】

第１実施例における画像撮影装置１は、画像センサ２と、演算装置３と、を有し、撮影された画像情報の記録（録画）が可能なものである。つまり、画像撮影装置１は、取得した画像情報を記録可能な画像情報記録部を備えたものである。

【0011】

画像センサ２は、いわゆるウェアラブルデバイスとしてユーザに装着されるものであって、例えばユーザの頭部等に装着される。ここで、画像センサ２が装着されるユーザは、例えば工場等で作業する作業者等である。

【0012】

画像センサ２は、例えばユーザの周囲を３６０度撮影可能なものである。また、画像センサ２は、当該画像センサ２を装着したユーザが行動するエリアの中でユーザのプライバシーが保護されるエリアの天井に設置された保護エリア用照明４を撮影可能なものである。画像センサ２は、画角に保護エリア用照明４が入っている場合、保護エリア用照明４のフリッカー現象を検出可能なものである。つまり、画像センサ２は、画像情報取得部及び照明検出部に相当する。フリッカー現象は、可視光または不可視光（例えば近赤外線や中赤外線等の赤外線）による明滅である。

【0013】

演算装置３は、保護エリア用照明４に固有のフリッカー現象が検出された場合にユーザの周囲を撮影した画像（画像情報）の記録（録画）を停止させる。つまり、演算装置３は、取得した画像情報を記録（録画）するか否かを判定する記録判定部に相当する。

【0014】

なお、演算装置３及び画像情報記録部は、画像センサ２と一体にしてウェアラブルデバイスとしてもよいし、画像センサ２とは別体としてユーザから離れた場所に位置するものとしてもよい。

【0015】

図２は、第１実施例の画像撮影装置１における制御の流れを示すフローチャートである。

【0016】

ステップＳ１では、画像センサ２から画像情報を取得する。ステップＳ２では、取得された画像情報から照明を検出する。ステップＳ３では、画像情報から検出された照明が保護エリア用照明４であるか否かを判定する。ステップＳ３で保護エリア用照明４が検出されたと判定された場合は、ステップＳ４へ進む。ステップＳ３で保護エリア用照明４が検出されていないと判定された場合は、ステップ５へ進む。ステップＳ４では、取得した画像情報の記録（録画）を停止する。ステップＳ５では、取得した画像情報の記録（録画）を行う。つまり、ステップＳ３で保護エリア用照明４が検出された場合は、取得した画像情報の録画が停止される。また、ステップＳ３で保護エリア用照明４が検出されなかった場合は、取得した画像情報の録画が継続される。

【0017】

このような第１実施例の画像撮影装置１は、プライバシーが保護されるエリアでは、画像情報に基づいて画像情報の記録（録画）を停止することが可能となり、ユーザのプライバシーを確実に保護することができる。つまり、画像撮影装置１は、天井に設置された保護エリア用照明４のフリッカー現象が検出されると、画像情報の記録（録画）を停止して、ユーザのプライバシーを確実に保護することができる。

【0018】

画像撮影装置１は、保護エリア用照明４に基づいて画像情報の記録（録画）を許可するエリア（例えば業務エリア）であるか否かを判定することができるので、画像情報の記録（録画）が許可されたエリアの画像情報のみを記録（録画）することができる。

【0019】

画像撮影装置１は、ユーザが装着するウェアラブルデバイスである画像センサ２によって画像情報が撮影されるので、ユーザに紐づいた行動を記録（録画）することができる。

【0020】

画像撮影装置１は、可視光または不可視光のどちらのフリッカー現象も検出できるので、ユーザにフリッカー現象による保護エリア用照明４の明滅を認識させることなく、画像情報の記録（録画）が許可されたエリアの画像情報のみを記録（録画）することが可能となる。

【0021】

なお、上述した第１実施例において、保護エリア用照明４は、フリッカー現象の明滅パターン（フリッカーパターン）を変更可能なものでもよい。すなわち、保護エリア用照明４は、フリッカー現象が所定の時間パターンで明滅するよう制御されるものでもよい。

【0022】

図３は、保護エリア用照明４のフリッカーパターンを変更する際の制御の流れを示すフローチャートである。

【0023】

ステップＳ１１では、プライバシーモードがオンとなる。プライバシーモードは、例えばユーザにより操作されたスイッチからプライバシーモードがオンの信号を検知した場合や、予め設定された時刻に関する条件が成立した場合にオンとなる。つまり、プライバシーモードは、ユーザによるスイッチ操作の有無や時刻に関する条件の成立の可否に基づいて成立／不成立が決定される。上記スイッチは、例えば、ユーザのプライバシーが保護されるエリアに設置されている。時刻に関する条件は、例えば、時刻が休憩時間の時刻になった場合に成立する。

【0024】

ステップＳ１２では、保護エリア用照明４のフリッカー現象のフリッカーパターン（明滅パターン）を変更する明滅制御を実施する。

【0025】

ステップＳ１３では、プライバシーモードがオフ（停止）されたか否かを判定する。プライバシーモードは、例えばユーザにより操作されたスイッチからプライバシーモードがオフの信号を検知した場合や、予め設定された時刻に関する条件が不成立となった場合にオフ（停止）となる。時刻に関する条件は、例えば、時刻がユーザの休憩時間中であれば成立し、時刻がユーザの休憩時間外あれば不成立となる。ステップＳ１３でプライバシーモードがオフ（停止）と判定された場合は、ステップＳ１４へ進む。ステップＳ１４では、プライバシーモードを停止し、上記明滅制御を終了する。ステップＳ１３でプライバシーモードがオフ（停止）と判定されなかった場合は、ステップＳ１２へ進む。つまり、ステップＳ１３でプライバシーモードがオフ（停止）と判定されなかった場合は、プライバシーモードを継続し、上記明滅制御を継続する。

【0026】

図４は、保護エリア用照明４のフリッカーパターンが制御される画像撮影装置の制御の流れを示すフローチャートである。

【0027】

ステップＳ２１では、画像センサ２から画像情報を取得する。ステップＳ２２では、取得された画像情報から照明のフリッカーパターンを検出する。ステップＳ２３では、画像情報から検出された照明のフリッカーパターンが保護エリア用照明４のものであるか否かを判定する。ステップＳ２３で保護エリア用照明４のフリッカーパターンが検出されたと判定された場合は、ステップＳ２４へ進む。ステップＳ２３で保護エリア用照明４のフリッカーパターンが検出されていないと判定された場合は、ステップＳ２５へ進む。ステップＳ２４では、取得した画像情報の記録（録画）を停止する。ステップＳ２５では、取得した画像情報の記録（録画）を行う。つまり、ステップＳ２３で保護エリア用照明４のフリッカーパターンが検出された場合は、取得した画像情報の録画が停止される。また、ステップＳ２３で保護エリア用照明４のフリッカーパターンが検出されなかった場合は、取得した画像情報の録画が継続される。

【0028】

画像撮影装置１は、保護エリア用照明４のフリッカーパターンが制御される場合、プライバシーモードの成立／不成立により画像情報の記録（録画）が許可されているか否かを判定することができる。そのため、画像撮影装置１は、状況に応じて画像情報の記録（録画）を継続したり停止したりすることが可能となる。つまり、画像撮影装置１は、保護エリア用照明４のフリッカーパターンが制御される場合、例えばユーザが作業エリアにいる場合であっても、プライバシーが保護される休憩時間中等は画像情報の記録（録画）を停止させることができ、ユーザのプライバシーが保護される期間を管理できる。換言すれば、画像撮影装置１は、保護エリア用照明４のフリッカーパターンが制御される場合、プライバシーが保護される状況にユーザがある場合に、画像情報の記録（録画）を停止することができる。

【0029】

なお、画像センサ２は、保護エリア用照明４と、保護エリア用照明４以外のフリッカー現象が生じる機器（例えば机上のディスプレイ）の双方が画角に入っている場合、取得した画像情報から推定される両者の場所（位置）から保護エリア用照明４と保護エリア用照明４以外のフリッカー現象が生じる機器とを区別できる。

【0030】

画像撮影装置１は、保護エリア用照明４のフリッカーパターンが制御される場合、保護エリア用照明４に固有のフリッカー現象のフリッカーパターンを検知すると画像情報の記録（録画）を停止することができる。そのため、画像撮影装置１は、保護エリア用照明４のフリッカーパターンが制御される場合、保護エリア用照明４と保護エリア用照明４とは異なるフリッカーパターンの照明とが混在する環境や、ディスプレイ等のフリッカー現象が生じる機器が混在する環境においても、誤判定することなく、画像情報の記録（録画）を継続するか停止するかを判断できる。

【0031】

以下、本発明の他の実施例について説明する。なお、上述した実施例と同一の構成要素には同一の符号を付し重複する説明を省略する。

【0032】

図５及び図６を用いて第２実施例の画像撮影装置１１について説明する。第２実施例の画像撮影装置１１は、上述した第１実施例の画像撮影装置１と略同一構成となっているが、重力を検出可能な重力センサ１２の検出情報を利用して画像情報から天井に設置された照明を識別している。第２実施例の画像撮影装置１１は、図５に示すように、重力センサ１２を有している。図５は、本発明の第２実施例における画像撮影装置１１の概略構成を示すブロックである。

【0033】

第２実施例における画像撮影装置１１は、重力センサ１２を用いて重力の作用する方向である鉛直下方へ向かう方向を精度良く判定（把握）することで、反対方向となる鉛直上方に位置する天井に設置された照明を精度よく識別することが可能となっている。

【0034】

図６は、第２実施例において天井の方向を判定する際の制御の流れを示すフローチャートである。ステップＳ３１では、重力センサ１２からの情報（検出信号）を取得する。ステップＳ３２では、重力センサ１２の検出信号を利用してユーザがいるエリアの天井のある方向を推定する。

【0035】

このような第２実施例の画像撮影装置１１においても上述した第１実施例の画像撮影装置１と略同一の作用効果を奏することができる。

【0036】

また、このような第２実施例の画像撮影装置１１は、保護エリア用照明４が設置された天井の方向を重力センサ１２を利用して精度良く推定することができるので、天井に配置された照明のみを対象として、取得した画像情報の記録（録画）を継続するか停止するかを判断できる。

【0037】

なお、この第２実施例における保護エリア用照明４は、上述したようなフリッカーパターンの制御を適用してもよい。

【0038】

図７及び図８を用いて第３実施例の画像撮影装置２１について説明する。第３実施例の画像撮影装置２１は、上述した第１実施例の画像撮影装置１と略同一構成となっているが、撮影された画像情報から保護エリア用照明４に固有の形状が検出されると画像情報の記録（録画）を停止している。第３実施例の画像撮影装置２１は、図７に示すように、保護エリア用照明４に固有の形状の有無を判定する物体認識機２２を有している。図７は、本発明の第３実施例における画像撮影装置２１の概略構成を示すブロック図である。第３実施例における画像撮影装置２１は、物体認識機２２を用いて保護エリア用照明４に固有の形状を識別することで、保護エリア用照明４に固有の形状が検出された場合にユーザの周囲を撮影した画像（画像情報）の記録（録画）を停止させる。

【0039】

図８は、第３実施例の画像撮影装置２１における制御の流れを示すフローチャートである。

【0040】

ステップＳ４１では、画像センサ２から画像情報を取得する。ステップＳ４２では、取得された画像情報から照明の形状（外形状）を検出する。ステップＳ４３では、画像情報から検出された照明の形状が保護エリア用照明４に固有の形状であるか否かを判定する。ステップＳ４３で保護エリア用照明４に固有の形状が検出されたと判定された場合は、ステップＳ４４へ進む。ステップＳ４３で保護エリア用照明４に固有の形状が検出されていないと判定された場合は、ステップＳ４５へ進む。ステップＳ４４では、取得した画像情報の記録（録画）を停止する。ステップＳ４５では、取得した画像情報の記録（録画）を行う。つまり、ステップＳ４３で保護エリア用照明４に固有の形状が検出された場合は、取得した画像情報の録画が停止される。また、ステップＳ３で保護エリア用照明４に固有の形状が検出されなかった場合は、取得した画像情報の録画が継続される。

【0041】

このような第３実施例の画像撮影装置２１においても上述した第１実施例の画像撮影装置１と略同一の作用効果を奏することができる。

【0042】

また、このような第３実施例の画像撮影装置２１は、画像情報から撮影された物体の形状を推定して保護エリア用照明４の有無を判定している。つまり、第３実施例の画像撮影装置２１は、保護エリア用照明４の有無を直接検出して、画像情報の記録（録画）を継続するか停止するかを判断できる。

【0043】

図９及び図１０を用いて第４実施例の画像撮影装置３１について説明する。第４実施例の画像撮影装置３１は、上述した第１実施例の画像撮影装置１と略同一構成となっているが、ユーザの姿勢を推定する姿勢推定器３２から出力された情報を利用して画像情報から天井に設置された照明を識別している。

【0044】

図９は、本発明の第４実施例における画像撮影装置の概略構成を示すブロック図である。第４実施例の画像撮影装置３１は、図９に示すように、姿勢推定器３２を有している。

【0045】

姿勢推定器３２は、画像センサ２を身に着けたユーザの上体の傾きや捻れ等の身体の姿勢に関する情報である姿勢情報を取得可能なものであり、例えば画像センサ２を身に着けたユーザに装着される。第４実施例の画像撮影装置３１は、ユーザの姿勢を考慮して天井に設置された照明を精度よく識別することが可能となっている。

【0046】

図１０は、第４実施例において天井の方向を判定する際の制御の流れを示すフローチャートである。ステップＳ５１では、姿勢推定器３２を用いてユーザの姿勢情報を取得する。ステップＳ５２では、姿勢推定器３２からの姿勢情報を利用してユーザがいるエリアの天井のある方向を推定する。

【0047】

このような第４実施例の画像撮影装置３１においても上述した第１実施例の画像撮影装置１と略同一の作用効果を奏することができる。

【0048】

また、このような第４実施例の画像撮影装置３１は、保護エリア用照明４が設置された天井の方向を姿勢推定器３２を利用して精度良く推定することができるので、天井に配置された照明のみを対象として取得した画像情報の記録（録画）を継続するか停止するかを判断できる。

【0049】

なお、この第４実施例における保護エリア用照明４は、上述したようなフリッカーパターンの制御を適用してもよい。

【0050】

以上、本発明の具体的な実施例を説明してきたが、本発明は、上述した実施例に限定されるものではなく、その趣旨を逸脱しない範囲で種々の変更が可能である。

【0051】

例えば、画像撮影装置の画像センサ２は、保護エリア用照明４に固有の可視光または不可視光の波長を検出可能なものであってもよい。この場合、画像撮影装置の画像センサ２は、画角に保護エリア用照明４が入っていなくても、保護エリア用照明４に固有の可視光または不可視光（例えば近赤外線や中赤外線等の赤外線）の波長を検出可能なものとなる。また、この場合、画像撮影装置の演算装置３は、保護エリア用照明４に固有の可視光または不可視光の波長が検出された場合にユーザの周囲を撮影した画像（画像情報）の記録（録画）を停止させることになる。この場合、演算装置３は、画像センサ２の画角に保護エリア用照明４が入っていなくても、上述したプライバシーモードがオンになったことを判定することができる。

【0052】

また、画像撮影装置は、プライバシーモードがオンになると、エリア全体で保護エリア用照明４に固有の不可視光をフリッカー現象よりも長周期で明滅させ、この不可視光の明滅を検出することにより画像情報の記録（録画）を停止させてもよい。この場合、演算装置３は、画像センサ２の画角に保護エリア用照明４が入っていなくても、上述したプライバシーモードがオンなったことを判定することができる。

【0053】

上述した各実施例は、画像撮影装置及び画像撮影方法に関するものである。

【符号の説明】

【0054】

１…画像撮影装置
２…画像センサ
３…演算装置
４…保護エリア用照明

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】