特開 2023-183736 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183736

(43)【公開日】2023-12-28

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231221BHJP

   H04N 23/63 20230101ALI20231221BHJP

   G03B 17/18 20210101ALI20231221BHJP

   G03B 15/00 20210101ALI20231221BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 941

G03B17/18 Z

G03B15/00 Q

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2022097403

(22)【出願日】2022-06-16

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】加藤 幹雄

(72)【発明者】

【氏名】西森 公治

【テーマコード（参考）】

2H102

5C122

【Ｆターム（参考）】

2H102AA71

2H102BB08

2H102BB32

2H102BB33

5C122DA11

5C122DA16

5C122EA03

5C122FH11

5C122FJ11

5C122FK35

5C122GC13

5C122HA13

5C122HA35

5C122HA81

5C122HB01

5C122HB05

5C122HB09

(57)【要約】

【課題】撮像装置に対する外部熱源の影響を予めユーザに知らせる。
【解決手段】撮像装置１００は、被写体を撮影して生成された画像データの解析により熱源を検出した場合に、熱源までの距離の情報を取得し、該距離の情報に応じて撮像装置に対する熱源からの熱の影響に関する判定を行う判定手段３００、３０１、３０２と、該判定の結果に応じた通知を出力する通知手段３０３とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

被写体を撮影して画像データを生成する撮像装置であって、
前記画像データの解析により熱源を検出した場合に、前記熱源までの距離の情報を取得し、該距離の情報に応じて前記撮像装置に対する前記熱源からの熱の影響に関する判定を行う判定手段と、
前記判定の結果に応じた通知を出力する通知手段とを有することを特徴とする撮像装置。

【請求項2】

前記通知手段は、前記判定の結果として前記熱の影響の度合いが所定値より高い場合に前記通知としての警告を出力することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記判定手段は、前記画像データの解析により前記熱源を検出することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記判定手段は、前記画像データとしての赤外線サーモグラフィ画像から得られる熱分布情報から前記熱源を検出することを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記判定手段は、前記画像データ内の熱源のサイズ、前記熱源の実際のサイズおよび前記撮像装置の焦点距離から前記距離を取得することを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記判定手段は、距離センサを用いて前記距離を取得することを特徴とする請求項１に記載の撮像装置。

【請求項7】

前記判定手段は、前記熱源の温度および前記撮像装置の温度の情報のうち少なくとも１つの情報をさらに取得し、前記距離の情報と前記少なくとも１つの情報とに応じて前記判定を行うことを特徴とする請求項１に記載の撮像装置。

【請求項8】

前記判定手段は、前記画像データを解析して前記熱源の温度の情報を取得することを特徴とする請求項７に記載の撮像装置。

【請求項9】

前記判定手段は、温度センサを用いて前記撮像装置の温度の情報を取得することを特徴とする請求項７に記載の撮像装置。

【請求項10】

前記通知手段は、通知音を出力することを特徴とする請求項１に記載の撮像装置。

【請求項11】

前記通知手段は、前記判定の結果に応じて前記通知音の音量、音程およびメロディのうち少なくとも１つを異ならせることを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記通知手段は、外部デバイスに通知メッセージを送信することを特徴とする請求項１に記載の撮像装置。

【請求項13】

前記通知手段は、前記判定の結果に応じて前記外部デバイスにおける前記通知メッセージの表示を異ならせことを特徴とする請求項１２に記載の撮像装置。

【請求項14】

前記通知手段は、前記判定の結果に応じて前記通知の出力の時間間隔を異ならせることを特徴とする請求項１に記載の撮像装置。

【請求項15】

被写体を撮影して画像データを生成する撮像装置であって、
前記撮像装置の移動を可能とする移動手段と、
前記画像データの解析により熱源を検出した場合に、前記熱源までの距離の情報を取得し、該距離の情報に応じて前記撮像装置に対する前記熱源からの熱の影響に関する判定を行う判定手段と、
前記判定の結果に応じて前記移動手段に前記撮像装置を前記熱源から遠ざかる方向に移動させる制御手段とを有することを特徴とする撮像装置。

【請求項16】

被写体を撮影して画像データを生成する撮像装置の制御方法であって、
前記画像データの解析により熱源を検出した場合に、前記熱源までの距離の情報を取得し、該距離の情報に応じて前記撮像装置に対する前記熱源からの熱の影響に関する判定を行うステップと、
前記判定の結果に応じた通知を出力するステップとを有することを特徴とする制御方法。

【請求項17】

被写体を撮影して画像データを生成する撮像装置であり、前記撮像装置の移動を可能とする移動手段を有する撮像装置の制御方法であって、
前記画像データの解析により熱源を検出した場合に、前記熱源までの距離の情報を取得し、該距離の情報に応じて前記撮像装置に対する前記熱源からの熱の影響に関する判定を行うステップと、
前記判定の結果に応じて前記移動手段に前記撮像装置を前記熱源から遠ざかる方向に移動させるステップとを有することを特徴とする制御方法。

【請求項18】

コンピュータに、請求項１６に記載の制御方法に従う処理を実行させることを特徴とするプログラム。

【請求項19】

コンピュータに、請求項１７に記載の制御方法に従う処理を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラ等の撮像装置に関する。

【背景技術】

【0002】

撮像装置には、様々な状況で任意の場所に設置可能な可搬式の置き撮り型カメラがある。このようなカメラは、パーティ、キャンプ場およびキッチン等の設置場所での状況に応じて自動的に構図を決定したり、被写体（人物）の表情を追尾する等して決定した適切なタイミングで自動的に撮影を行ったりする。ただし、カメラがキャンプの焚火やキッチンのコンロ等、熱源の近くで使用されると、カメラが高温になって故障したり画質劣化や撮影停止等の動作不良が生じたりする。

【0003】

特許文献１には、カメラ内の撮像素子の温度に応じてユーザに警告を発するカメラが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２―３４２９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されたカメラでは撮像素子の温度が上昇しないと警告が発せられないため、温度上昇が急激である場合に熱による故障や動作不良に至ることを事前に把握して警告を発することはできない。また特許文献１のカメラでは、撮像素子の温度上昇の要因がカメラの動作による発熱に起因するものなのか周辺環境の熱源の影響によるものなのかを判断することが難しい。このため、撮像素子の高温状態を回避するためには、カメラの動作を制限する必要がある。

【0006】

本発明は、撮像装置に対する外部熱源の影響を予めユーザに知らせることができるようにした撮像装置を提供する。

【課題を解決するための手段】

【0007】

本発明の一側面としての撮像装置は、被写体を撮影して画像データを生成する撮像装置であって、画像データの解析により熱源を検出した場合に、熱源までの距離の情報を取得し、該距離の情報に応じて撮像装置に対する熱源からの熱の影響に関する判定を行う判定手段と、該判定の結果に応じた通知を出力する通知手段とを有することを特徴とする。

【0008】

また本発明の他の一側面としての撮像装置は、被写体を撮影して画像データを生成する撮像装置であって、撮像装置の移動を可能とする移動手段と、画像データの解析により熱源を検出した場合に、熱源までの距離の情報を取得し、該距離の情報に応じて撮像装置に対する熱源からの熱の影響に関する判定を行う判定手段と、該判定の結果に応じて移動手段に撮像装置を熱源から遠ざかる方向に移動させる制御手段とを有することを特徴とする。

【0009】

また本発明の他の一側面としての制御方法は、被写体を撮影して画像データを生成する撮像装置に適用される。該制御方法は、画像データの解析により熱源を検出した場合に、熱源までの距離の情報を取得し、該距離の情報に応じて撮像装置に対する熱源からの熱の影響に関する判定を行うステップと、該判定の結果に応じた通知を出力するステップとを有することを特徴とする。

【0010】

さらに本発明の他の一側面としての制御方法は、被写体を撮影して画像データを生成する撮像装置であり、撮像装置の移動を可能とする移動手段を有する撮像装置に適用される。該制御方法は、画像データの解析により熱源を検出した場合に、熱源までの距離の情報を取得し、該距離の情報に応じて撮像装置に対する熱源からの熱の影響に関する判定を行うステップと、該判定の結果に応じて移動手段に撮像装置を熱源から遠ざかる方向に移動させるステップとを有することを特徴とする。なお、上記各制御方法に従う処理をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0011】

本発明によれば、撮像装置に対する外部熱源の影響を予めユーザに知らせることができる。

【図面の簡単な説明】

【0012】

【図1】実施例１のカメラの外観図。

【図2】実施例１のカメラの利用場面を示す図。

【図3】実施例１のカメラの構成を示すブロック図。

【図4】実施例１のカメラにおける距離推定方法を示す図。

【図5】実施例１のカメラにおける危険度を示す図。

【図6】実施例１のカメラが実行する処理を示すフローチャート。

【図7】実施例２のカメラの構成を示すブロック図。

【図8】実施例２のカメラにおける危険度判定部を示す図。

【図9】実施例２のカメラの動作を示すフローチャート。

【図10】実施例３のカメラの構成を示すブロック図。

【図11】実施例３のカメラの動作を示すフローチャート。

【図12】実施例４のカメラにおける警告の例を示す図。

【図13】実施例５のカメラの外観図。

【図14】実施例５のカメラの動作を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、本発明の実施例について図面を参照しながら説明する。

【実施例0014】

図１（Ａ）、（Ｂ）はそれぞれ、本発明の実施例１である撮像装置としての置き撮り型カメラ（以下、単にカメラという）１００の正面と側面の外観を示している。カメラ１００は、撮像部１０１、旋回部１０２および土台部１０３を有する。

【0015】

撮像部１０１は、被写体からの光を結像させるレンズと、該レンズにより形成された被写体像を光電変換して撮影する撮像素子（いずれも図示せず）とを有し、撮像素子の出力信号から撮影画像（映像データ）を生成する。撮像素子としては、ＣＣＤセンサやＣＭＯＳセンサ等が用いられる。また、撮像部１０１は、撮影画像から自動的に構図を決定し、適切なタイミングで自動的に撮影を行う。

【0016】

土台部１０３は、カメラ１００のベースとなる部分であり、土台部１０３の上部に旋回部１０２が搭載されている。土台部１０３内には、旋回部１０２を鉛直軸回りで左右方向に旋回駆動する第１モータ（図示せず）が設けられている。旋回部１０２は、撮像部１０１を保持している。上記第１モータによって旋回部１０２が左右方向に旋回することで、図１（Ｄ）に示すように撮像部１０１の左右方向での向き（撮影画角）が変更される。また、旋回部１０２内には、撮像部１０１を上下方向に旋回させる第２モータが配置されている。第２モータによって撮像部１０１が上下方向に旋回することで、図１（Ｃ）に示すように撮像部１０１の上下方向での向きが変更される。

【0017】

図２（Ａ）、（Ｂ）は、カメラ１００の実際の使用例を示す。カメラ１００は、図２（Ａ）に示すようにキッチンで調理をする場面の撮影に使用されたり、図２（Ｂ）に示すようにキャンプ場で焚木を行っている様子等の撮影に使用されたりする。キッチンにおいて調理者の手元や調理風景を自動撮影できる位置にカメラ１００を配置することで、調理者はカメラ１００に撮影を行わせる操作に煩わされることなく調理に集中することができる。またキャンプ場においても、キャンプ参加者や焚木その他の物を自動撮影できる位置にカメラ１００を配置することで、キャンプ参加者はカメラ１００の操作から解放されてキャンプを楽しむことができる。

【0018】

なお、カメラ１００は、機械学習等のＡＩ(Artificial Intelligence)を内包している。機械学習機能は、ハードウェアまたはソフトウェアとして実装される。カメラ１００は、撮影により得られた撮影画像を機械学習し、撮影された場面がキッチンでの調理場面かパーティの場面かキャンプ場の場面か等を自動判別する。

【0019】

ただし、カメラ１００が図２（Ａ）に示すようにガスコンロの近くや図２（Ｂ）に示すように焚火の近く等、熱源の近くで使用されると、熱源からの熱の影響によってカメラ１００が高温になり、故障したり画質劣化や撮影停止等の動作不良が発生したりするおそれがある。本実施例のカメラ１００は、このような熱の影響による故障や動作不良の発生を回避するための通知（警告）をユーザに対して出力する機能を有する。

【0020】

図３は、カメラ１００の構成を示している。カメラ１００は、前述した撮像部１０１と、熱源認識部３００と、距離推定部３０１と、危険度判定部３０２と、警告通知部３０３とを有する。熱源認識部３００、距離推定部３０１、危険度判定部３０２および警告通知部３０３は、ＣＰＵ等のマイクロコンピュータ（以下、カメラマイコンという）により構成される。熱源認識部３００、距離推定部３０１および危険度判定部３０２は判定手段を構成し、警告通知部３０３は通知手段に相当する。

【0021】

熱源認識部３００は、撮像部１０１で取得した撮影画像を解析し、撮影画像内に高温の熱源を認識（検出）する。具体的には、炎や煙等の画像から熱源を認識したり、色温度から熱源を認識したりする。また、機械学習機能を用いて撮影画像内に電熱器等の物体を検出した場合にそれを熱源として認識するようにしてもよい。

【0022】

距離推定部３０１は、撮影画像内の熱源の大きさ（撮影サイズ）や撮像部１０１のレンズの焦点距離等に基づいて、カメラ１００から熱源までの距離を推定する。具体的には、図４に示すように、熱源の実際のサイズをａ、熱源の撮影サイズをｃ、焦点距離をｄとすると、カメラ１００から熱源までの距離ｂは以下の式（１）で表される。

【0023】

ａ：ｃ＝ｂ：ｄ
→ ｂ＝ａ／ｃ×ｄ （１）
熱源の撮影サイズｃは撮像部１０１の撮像素子上において熱源を撮影する画素数から取得可能であり、焦点距離ｄは撮像部１０１のレンズの設計上の焦点距離を用いればよい。熱源の実際のサイズａについては、以下のように決定する。まず、カメラ１００に内包されている機械学習機能により撮影画像がどのような場面を撮影して得られたものかを推定する。例えば、キャンプの場面では熱源を焚火とみなし、調理の場面ではガスコンロの火として、その一般的なサイズを熱源の実際のサイズａとして決定する。この際、熱源の周辺に映っている人物等との大きさの対比で熱源のおおよその大きさを決定してもよい。

【0024】

危険度判定部３０２は、距離推定部３０１から得られたカメラ１００から熱源までの距離から、熱源からの熱がカメラ１００に対して故障や動作不良を発生させる度合いを定量化された危険度として判定する。危険度はカメラ１００に対する熱源からの熱の影響の度合いと言うこともでき、危険度判定部３０２はこの影響に関する判定を行う。

【0025】

図５は、カメラ１００から熱源までの距離と危険度の関係を示している。危険度は、カメラ１００が熱源からの熱の影響によって故障や動作不良の可能性を数値化したものであり、カメラ１００と熱源との距離が近いほど危険度が高く、すなわち危険度を表す数値が大きくなる。カメラ１００は、図５に示すような熱源までの距離レンジと危険度とを対応付けたテーブルデータを用意しておき、危険度判定部３０２に距離推定部３０１で推定された熱源までの距離が含まれる距離レンジに対応する危険度を判定させる。例えば、熱源までの推定距離が４ｍである場合には、「３～５ｍ」の距離レンジに対応する危険度が１と判定される。

【0026】

警告通知部３０３は、危険度判定部３０２によって判定された危険度が所定の閾値（例えば１）以上である場合に、不図示の音声出力部（スピーカー）から警告音を発する。この際、閾値以上の危険度ごとに警告音を変化させたり警告音の発生間隔を変化させたりしてもよい。危険度が高いほど警告音を大きくしたり警告音の発生間隔を短くしたりすることで、ユーザがより気付き易くなる。

【0027】

また、警告通知部３０３は、警告音に代えて又は警告音とともに、カメラ１００に搭載された警告ランプを点灯または点滅させたり、危険度に応じて警告ランプの点灯色や点滅間隔を変化させたりしてもよい。

【0028】

図６のフローチャートは、カメラ１００のマイクロコンピュータ（以下、カメラマイコンという）がプログラムに従って実行する処理を示している。

【0029】

ステップＳ６００では、カメラマイコンは、撮像部１０１に撮影画像を取得させる。

【0030】

次にステップＳ６０１では、カメラマイコンは、熱源認識部３００に撮影画像内に熱源が存在しているか否かを画像解析により確認させる。このとき、撮像部１０１に上下旋回を行わせたり旋回部１０２に左右旋回を行わせたりして撮像部１０１に撮影可能画角全体を撮影させるようにしてもよい。カメラマイコンは、撮影画像内に熱源が存在しない場合はステップＳ６００に戻って撮影を継続し、撮影画像内に熱源が存在する場合はステップＳ６０２に進む。

【0031】

ステップＳ６０２では、カメラマイコンは、距離推定部３０１に上述した式（１）を用いて熱源までの距離を推定させて距離情報を取得する。

【0032】

次にステップＳ６０３では、カメラマイコンは、危険度判定部３０２に距離情報に対応する危険度（以下、距離危険度という）を判定させる。

【0033】

次にステップＳ６０４では、カメラマイコンは、警告通知部３０３に距離危険度が所定値としての閾値（ここでは図５に示した１とする）以上か否かを判定させる。距離危険度が１以上になるとカメラ１００の故障や動作不良が発生する可能性が高くなる。カメラマイコンは、距離危険度が１未満である場合はステップＳ６００に戻って撮影を継続し、距離危険度が１以上である場合はステップＳ６０５に進む。

【0034】

ステップＳ６０５では、カメラマイコンは、警告通知部３０３に距離危険度に応じた警告音を出力させる（警告を通知させる）。例えば、距離危険度が１である場合と２である場合とで音量、音程およびメロディのうち少なくとも１つを異ならせる。この後、カメラマイコンは、再びステップＳ６００に戻って撮影を継続する。

【0035】

本実施例によれば、カメラ１００から熱源までの距離に基づいて、カメラ１００に対する外部の熱源の影響を予め（すなわち実際にカメラ１００が高温になる前に）ユーザに知らせることができる。

【0036】

なお、本実施例では熱源認識部３００が撮影画像を解析して炎や煙等の画像から熱源在を認識する場合について説明したが、赤外線サーモグラフィ画像を撮影画像として取得して該撮影画像内の熱分布情報から熱源の存在を認識するようにしてもよい。

【0037】

また本実施例では距離推定部３０１が式（１）を用いてカメラ１００から熱源までの距離を推定（計算）する場合について説明したが、ＴｏＦ(Time of Flight)センサ等の距離センサを用いて距離を測定してもよい。

【0038】

また本実施例では危険度が閾値以上である場合に警告を出力する場合について説明したが、カメラが熱源から所定距離の範囲内に位置する時間が所定時間以上となった場合に熱源からの熱の影響が懸念されると判定し、この判定結果に応じて警告を出力してもよい。

【0039】

さらに本実施例では警告を出力する場合について説明したが、警告以外の通知を出力してもよい。例えば、距離危険度が閾値未満の場合に、カメラに対して熱の影響がほとんどないことやカメラの設置位置が適切であること等を示す通知を出力してもよい。

【実施例0040】

図７は、実施例２のカメラ１００Ａの構成を示している。本実施例の構成要素のうち実施例１と共通する構成要素には実施例１と同符号を付している。

【0041】

温度推定部７０１は、撮像部１０１で取得した撮影画像を解析し、前述した機械学習機能により場面を推定したり熱源付近の色温度等から熱源の温度を推定したりする。

【0042】

危険度判定部３０２は、距離推定部３０１で得られたカメラ１００Ａから熱源までの距離に加えて、温度推定部７０１で推定された熱源の温度に基づいて危険度を判定する。危険度判定部３０２は、推定された熱源の温度が高いほど危険度を高く判定する。

【0043】

図８は、熱源の温度と危険度の関係を示している。カメラ１００Ａは、図８に示すような熱源の温度と危険度とを対応付けたテーブルデータを用意しておき、危険度判定部３０２に温度推定部７０１で推定された熱源の温度が含まれる温度レンジに対応する危険度を判定させる。例えば、熱源の温度が５０度である場合は、「４０～６０度」の温度レンジに対応する危険度が１と判定される。

【0044】

図９のフローチャートは、カメラマイコンがプログラムに従って実行する処理を示している。このフローチャートにおけるステップＳ６００～Ｓ６０５は図６中のステップＳ６００～Ｓ６０５と同じである。ただし、本実施例のステップＳ６０４では、カメラマイコンは危険度判定部３０２に距離危険度が第１の所定値としての第１の閾値以上が否かを判定させる。

【0045】

ステップＳ６０４で距離危険度が第１の閾値未満である場合は、カメラマイコンはステップＳ９０１に進む。ステップＳ９０１では、カメラマイコンは、温度推定部７０１に熱源の温度を推定させて熱源温度情報を取得する。

【0046】

次にステップＳ９０２では、カメラマイコンは、危険度判定部３０２に熱源温度情報に対応する危険度（以下、熱源温度危険度という）を判定させる。

【0047】

次にステップＳ９０３では、カメラマイコンは、警告通知部３０３にステップＳ９０２で判定された熱源温度危険度が第２の所定値としての第２の閾値（ここでは図８に示した２とする）以上か否かを判定させる。カメラマイコンは、熱源温度危険度が２未満である場合はステップＳ６００に戻って撮影を継続し、熱源温度危険度が２以上である場合はステップＳ６０５に進んで警告通知部３０３に熱源温度危険度に応じた警告音を出力させる。このときの警告音は、距離危険度が２である場合と同じ警告音であってもよいし、異なる警告音であってもよい。

【0048】

本実施例によれば、カメラ１００Ａから熱源までの距離と熱源の温度に基づいて、カメラ１００Ａに対する外部の熱源の影響を予めユーザに知らせることができる。

【0049】

なお、ステップＳ６０２～Ｓ６０４での距離危険度の判定とステップＳ９０１～Ｓ９０３での熱源温度危険度の判定の順序は、どちらが先でもよい。