IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7584956電子機器、電子機器の制御方法およびプログラム
<>
  • 特許-電子機器、電子機器の制御方法およびプログラム 図1
  • 特許-電子機器、電子機器の制御方法およびプログラム 図2
  • 特許-電子機器、電子機器の制御方法およびプログラム 図3
  • 特許-電子機器、電子機器の制御方法およびプログラム 図4
  • 特許-電子機器、電子機器の制御方法およびプログラム 図5
  • 特許-電子機器、電子機器の制御方法およびプログラム 図6
  • 特許-電子機器、電子機器の制御方法およびプログラム 図7
  • 特許-電子機器、電子機器の制御方法およびプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】電子機器、電子機器の制御方法およびプログラム
(51)【国際特許分類】
   H04N 23/65 20230101AFI20241111BHJP
   H04N 23/667 20230101ALI20241111BHJP
   H04N 23/611 20230101ALI20241111BHJP
   G03B 15/00 20210101ALI20241111BHJP
   G03B 17/02 20210101ALI20241111BHJP
【FI】
H04N23/65 100
H04N23/667
H04N23/611
G03B15/00 Q
G03B17/02
【請求項の数】 8
(21)【出願番号】P 2020153955
(22)【出願日】2020-09-14
(65)【公開番号】P2022047907
(43)【公開日】2022-03-25
【審査請求日】2023-09-08
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】渡辺 紳一郎
【審査官】彦田 克文
(56)【参考文献】
【文献】特開2018-160799(JP,A)
【文献】特開2007-102670(JP,A)
【文献】特開2016-208145(JP,A)
【文献】特開2014-007454(JP,A)
【文献】特開2004-236280(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/65
H04N 23/667
H04N 23/611
G03B 15/00
G03B 17/02
(57)【特許請求の範囲】
【請求項1】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器であって、
前記電子機器が取得した映像から被写体を検出する検出手段と、
特定の被写体を検出対象として登録する登録手段と、
前記検出手段により検出された被写体が前記登録手段により登録された被写体であるか否かを判定する判定手段と、
前記電子機器が前記省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する第1の移行手段と、
前記電子機器が前記非省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段により登録された被写体でないと判定された場合に、前記非省電力モードから前記省電力モードに移行する第2の移行手段と、
を有することを特徴とする電子機器。
【請求項2】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器であって、
前記電子機器が取得した映像から被写体を検出する検出手段と、
特定の被写体を検出対象として登録する登録手段と、
前記検出手段により検出された被写体が前記登録手段により登録された被写体であるか否かを判定する判定手段と、
前記電子機器が前記省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する第1の移行手段と、を有し、
前記登録手段は、前記登録した被写体に対して、さらに残りの記録可能な量に基づいてランクを設定し、
前記電子機器が前記省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段によって登録された被写体であって、かつ現在の残りの記録可能な量に基づいたランクの被写体である場合に、前記第1の移行手段は、前記省電力モードから前記非省電力モードに移行する
ことを特徴とする電子機器。
【請求項3】
前記登録手段は、前記登録した被写体に対して、さらに残りの記録可能な量に基づいてランクを設定し、
前記電子機器が前記非省電力モードであって、前記検出手段により検出された被写体が現在の残りの記録可能な量に基づいたランクの被写体でない場合に、前記第2の移行手段は、前記非省電力モードから前記省電力モードに移行する
ことを特徴とする請求項に記載の電子機器。
【請求項4】
前記残りの記録可能な量は、少なくとも記録媒体の空き容量またはバッテリ残量に基づいた量である
ことを特徴とする請求項2または3に記載の電子機器。
【請求項5】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器の制御方法であって、
前記電子機器が取得した映像から被写体を検出する検出工程と、
特定の被写体を検出対象として登録する登録工程と、
前記検出工程により検出された被写体が前記登録工程により登録された被写体であるか否かを判定する判定工程と、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体であると判定された場合に、前記省電力モードから非省電力モードに移行する第1の移行工程と、
前記電子機器が前記非省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体でないと判定された場合に、前記非省電力モードから前記省電力モードに移行する第2の移行工程と、
を有することを特徴とする電子機器の制御方法。
【請求項6】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器の制御方法であって、
前記電子機器が取得した映像から被写体を検出する検出工程と、
特定の被写体を検出対象として登録する登録工程と、
前記検出工程により検出された被写体が前記登録工程により登録された被写体であるか否かを判定する判定工程と、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する移行工程と、を有し、
前記登録工程は、前記登録した被写体に対して、さらに残りの記録可能な量に基づいてランクを設定し、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程によって登録された被写体であって、かつ現在の残りの記録可能な量に基づいたランクの被写体である場合に、前記移行工程は、前記省電力モードから前記非省電力モードに移行する
ことを特徴とする電子機器の制御方法。
【請求項7】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器を制御するためのプログラムであって、
前記電子機器が取得した映像から被写体を検出する検出工程と、
特定の被写体を検出対象として登録する登録工程と、
前記検出工程により検出された被写体が前記登録工程により登録された被写体であるか否かを判定する判定工程と、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する第1の移行工程と、
前記電子機器が前記非省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体でないと判定された場合に、前記非省電力モードから前記省電力モードに移行する第2の移行工程と、
をコンピュータに実行させるためのプログラム。
【請求項8】
非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器の制御方法であって、
前記電子機器が取得した映像から被写体を検出する検出工程と、
特定の被写体を検出対象として登録する登録工程と、
前記検出工程により検出された被写体が前記登録工程により登録された被写体であるか否かを判定する判定工程と、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する移行工程と、をコンピュータに実行させ、
前記登録工程は、前記登録した被写体に対して、さらに残りの記録可能な量に基づいてランクを設定し、
前記電子機器が前記省電力モードであって、前記判定工程により、前記検出工程により検出された被写体が前記登録工程によって登録された被写体であって、かつ現在の残りの記録可能な量に基づいたランクの被写体である場合に、前記移行工程は、前記省電力モードから前記非省電力モードに移行する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の制御方法およびプログラムに関する。
【背景技術】
【0002】
近年、光学ファインダおよびミラーを省くことで軽量化、コンパクト化を実現した電子カメラが実用化されている。このタイプの電子カメラは、レンズから得られた光をカメラ内のイメージセンサーで捉え、現像したイメージを電子ビューファインダや、カメラ背面の液晶モニタにリアルタイムに表示することで、光学ファインダの機能を代替する。一方で、撮影時には常に液晶モニタを使用する必要があるため、従来の光学ファインダ式カメラに比べて多くのバッテリを消耗し、撮影可能な時間が短いという短所がある。
この短所を軽減するため、液晶モニタへ表示する際のフレームレートや動画記録時のフレームレートを下げるなどの省電力モードを搭載してバッテリの消耗を抑え、撮影可能時間を延長する努力がこれまで行われている。一般的な運用としては、通常は省電力モードで起動して出来るだけカメラの使用可能時間を長く確保し、ユーザにとって重要なシーンで非省電力モードに移行して高画質な映像を記録する使い方が望ましい。
しかし、このような省電力モードから非省電力モードへ移行するには、専用回路への切り替えが必要なため、撮影前にユーザがカメラのメニュー画面からモードを切り替える指示を行う必要がある。そのため、なるべく高画質で撮影したいのか、省電力状態を維持したいのか、ユーザが撮影状況に応じて事前に機能制約を理解した上で、省電力モードまたは非省電力モードに切り替える必要があり、ユーザにとって負担になっている。
【0003】
このような省電力モード、非省電力モードの切り替えが困難となる状況への対策として、様々な提案がされている。特許文献1には、省電力モード中に、定期的に実行する所定タスクにおいて、所定条件を満たすかを判定し、条件を満たす場合にのみ非省電力モードに移行してタスクを実行する技術が開示されている。この技術によれば、そのタイミングで実行するとエラー終了すると予想される場合は、非省電力モードに切り替えないようにすることで、失敗処理にかかる無意味なバッテリ消費を回避することができるとしている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2007-102670号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載の技術は、あらかじめ設定しておいた固定条件を満たすかどうかを定期的に判定するものであるため、バッテリの残量の変動に応じて動的に条件を変動させることが難しい。また、特許文献1に記載の技術は、システムが機能要件を果たすためには非省電力モードへ移行することが必須なため、機能性と省電力制御とのバランスを取りながら長期に稼働時間を確保することは難しい。
【0006】
本発明は前述の問題点に鑑み、省電力制御による稼働時間を確保するとともに、高機能な非省電力モードへ移行する制御のための設定を行う手間を軽減できるようにすることを目的としている。
【課題を解決するための手段】
【0007】
本発明に係る電子機器は、非省電力モード、または前記非省電力モードに比べて電力消費を抑えた省電力モードで動作する電子機器であって、前記電子機器が取得した映像から被写体を検出する検出手段と、特定の被写体を検出対象として登録する登録手段と、前記検出手段により検出された被写体が前記登録手段により登録された被写体であるか否かを判定する判定手段と、前記電子機器が前記省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段により登録された被写体であると判定された場合に、前記省電力モードから前記非省電力モードに移行する第1の移行手段と、前記電子機器が前記非省電力モードであって、前記判定手段により、前記検出手段により検出された被写体が前記登録手段により登録された被写体でないと判定された場合に、前記非省電力モードから前記省電力モードに移行する第2の移行手段と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、省電力制御による稼働時間を確保するとともに、高機能な非省電力モードへ移行する制御のための設定を行う手間を軽減することができる。
【図面の簡単な説明】
【0009】
図1】電子カメラのハードウェア構成の一例を示すブロック図である。
図2】本実施形態のカメラ制御方法について説明した図である。
図3】本実施形態のカメラ制御方法について説明した図である。
図4】電子カメラが記憶するテーブルの一例を示した図である。
図5】操作に係る基本的な処理手順の一例を示すフローチャートである。
図6】本実施形態における、検出対象の被写体の登録処理手順の一例を説明するフローチャートである。
図7】省電力モード、非省電力モードへの移行制御に関する一連の処理手順の一例を説明するフローチャートである。
図8】省電力モード、非省電力モードへの移行制御に関する一連の処理手順の他の一例を説明するフローチャートである。
【発明を実施するための形態】
【0010】
(第1の実施形態)
以下、図面を参照しながら本発明における第1の実施形態について詳細に説明する。
図1は、本実施形態に係る電子カメラ100のハードウェア構成の一例を示すブロック図である。以下、電子機器の一例として電子カメラを例に説明する。電子カメラ100は、CPU101と、入力部102と、表示部103と、通信部104と、バス105と、ROM106と、RAM107と、ストレージ108と、撮像部109とを有している。
CPU101は、ユーザからの命令を受けてフォーカシング、撮像、静止画動画記録、省電力モード、非省電力モード等の電子カメラ100の各種システム制御を行い、バス105を介してバス105に接続された各デバイスを制御する。省電力モードおよび非省電力モードについては、図2において詳細を説明する。
入力部102は、シャッター等のカメラ本体に設けられた各種物理ボタン、タッチパネル等を有し、ユーザによる各種の操作を受け付ける。
表示部103は、電子ビューファインダや液晶モニタ等の表示デバイスである。表示部103については、タッチパネル等の入力機能を備えたものも含まれる。また、外部のディスプレイに映像信号を出力することも可能である。
通信部104は、有線または無線の通信路を介して外部とのデータ交換を行う。
バス105は、CPU101の制御対象である各デバイスを指示するアドレス信号、コントロール信号を転送する。また、各デバイス間のデータ転送を行う。
【0011】
ROM106は、読み出し専用の不揮発性メモリである。CPU101によるブートプログラム等を記憶する。ブートプログラムは、システム起動時にブートデバイスとして選択されるストレージ108より起動対象のオペレーティングシステムおよび各種制御プログラムをRAM107に読み出し、CPU101に実行させる。制御プログラムについては、後にフローチャートを参照して説明する。
RAM107は、読み出し及び書き込みが可能なメモリである。各デバイスで使用する各種データの一次記憶に用いる。処理に必要なデータを記憶する各種ワーク領域や、処理中に値変更が行われる各種データが格納される。後述の処理フローで使用される各種データはここに読み出される。
ストレージ108は、不揮発性メモリまたはSDカードなどのリムーバブルメディアを含み、大量のデータを記憶する。ストレージ108には、電子カメラ100の制御を行うためのプログラム、後述の処理で使用する各種管理データが記憶されるだけでなく、ユーザによって撮影された静止画、動画のデータファイルが記憶され、必要に応じて随時内容が更新される。
撮像部109はイメージセンサーを有し、レンズから得られた光を電気信号に変換してイメージを生成する。
【0012】
以上のように構成される電子カメラ100は、入力部102等からの各種イベントに応じて作動する。入力部102等からのインタラプトが供給されるとインタラプト信号がCPU101に送られる。そのインタラプト信号に伴ってイベントが発生し、イベントに応じてCPU101がROM106またはRAM107内に記憶されている各種命令を読み出し、CPU101の実行によって各種の制御が行われる。
なお、本実施形態の電子カメラ100のCPUはプログラムを実行することで各種の手段として機能する。なお、CPUと協調して動作するASICなどの制御回路がこれらの手段として機能してもよい。また、CPUと制御回路との協調によってこれらの手段が実現されてもよい。また、CPUは単一のものである必要はなく、複数であってもよい。この場合、複数のCPUは分散して処理を実行する。CPUがソフトウェアを実行することで実現する手段が専用の回路によって実現されてもよい。
【0013】
図2は、本実施形態のカメラ制御方法について説明した図である。
イメージ203~208は、レンズから得られた光をカメラ内のイメージセンサーで捉え現像したイメージである。ここではイメージ203から208に向かってこれらのイメージが時系列に並んだ状態を表しており、適切なフレームレートで電子ビューファインダや、カメラ背面の液晶モニタに順に表示される。
本実施形態の電子カメラ100は、省電力モード、非省電力モードの2種類の動作モードに移行する。省電力モード時には、フレームレートを低減すること等により電力消費を抑えることができる。一方、非省電力モード時にはフレームレートを最大まで上げることにより、高速移動する被写体を電子ビューファインダや、液晶モニタに低遅延で表示可能となる。つまり、非省電力モードでは、ユーザは静止画撮影時のシャッターチャンスを逃しにくく、動画であれば、高フレームレートで記録することで、なめらかな動きの高品位な動画が記録可能となる。このような電子カメラでは、基本的に省電力モードで稼働する設定にすることで、可能な限り長時間カメラが使用できるようになる。しかし、これらのモードの切り替え制御は、ユーザが各モードの長所短所を理解した上で、撮影シーンに合わせてこまめに設定する必要があり、カメラの知識が豊富でないユーザにとって負担となっている。
【0014】
そこで本実施形態では、電子カメラ100内に検出対象定義テーブル202を設け、ユーザがあらかじめ高品位で記録を残したい被写体を定義する。CPU101がこの定義と電子カメラ100の状況とに応じて各モードを切り替えることで、ユーザの負担を軽減する。
具体的な制御方式をイメージ203から208の順に沿って説明する。ここでは、検出対象定義テーブル202には被写体として人物の顔が定義されており、被写体に人物の顔が含まれた場合に省電力モードから非省電力モードに移行するよう設定されている状態を表している。
まず電子カメラ100を起動後、省電力モードで動作し、イメージ203を取得する。次にイメージ204を取得して被写体として人物の顔が検出される。被写体が検出された場合、CPU101は検出対象定義テーブル202を参照し、検出された被写体にあらかじめユーザが定義した特定の被写体が含まれるか否かを判定する。イメージ204において検出された被写体に、検出対象定義テーブル202で定義されている人物の顔が含まれるため、電子カメラ100は省電力モードから非省電力モードに移行する。イメージ205から206の期間は非省電力モードで動作するため、ユーザは高フレームレートでシャッタータイミングを的確に捉えることができる。次に、イメージ207で特定の被写体が検出されなくなると、省電力モードに再び移行するよう処理判断され、イメージ208以降、非省電力モード中に再び特定の被写体が検出されるまで電子カメラ100は省電力モードで動作する。
以上の方法により、省電力制御による稼働時間を確保しつつ、高機能な非省電力モードへの移行制御を行うことが可能になる。
【0015】
図3は、本実施形態のカメラ制御方法について他の例を説明した図である。
基本的な構成は図2と同じである。イメージ303~310は、図2において説明したイメージ203~208と同様に、レンズから得られた光をカメラ内のイメージセンサーで捉え現像したイメージである。イメージ303~310についても、これらのイメージが時系列に並んだ状態を表しており、適切なフレームレートで電子ビューファインダや、カメラ背面の液晶モニタに順に表示される。
検出対象定義テーブル301および検出対象ランク定義テーブル302は、電子カメラ100内に格納されている。図2と異なるのは、検出対象定義テーブル301に各被写体のランクが設定できること、および検出対象ランク定義テーブル302が設けられたことである。検出対象ランク定義テーブル302は、電子カメラ100のバッテリ容量等の状態に応じて、被写体のランクを定義できるテーブルである。これらはユーザがあらかじめ高品位で記録を残したいものを設定し、カメラが状況に応じてこれらの設定を元に各モードを切り替えることでユーザの負担を軽減する。また、検出対象ランク定義テーブル302における「多い」と「少ない」との境界となる閾値も、ユーザが予め設定できるものとする。
ここでは、検出対象ランク定義テーブル302に記録可能容量が残り少ない場合、検出対象定義テーブル301に定義されている被写体のうち、ユーザの家族の顔が含まれた場合、省電力モードから非省電力モードに移行するよう設定されている。また一方で、前記記録可能容量が残り少ない場合であっても、ユーザの家族以外の人物の顔が検出された場合、非省電力モードには移行しない設定である。
【0016】
具体的な制御方式をイメージ303~310の順に沿って説明する。
ここでは、電子カメラ100のバッテリ残量が少ないことを前提に説明する。
まず、電子カメラ100は省電力モードで起動し、イメージ303を取得する。次にイメージ304で被写体に人物の顔が検出される。ここで被写体が検出された場合、CPU101は、検出対象定義テーブル301および検出対象ランク定義テーブル302を参照し、検出された被写体にあらかじめユーザが設定したランク以上のものが含まれるかを確認する。被写体のランクは、カメラの記録可能容量に応じて設定されている。ここで、記録可能容量は、バッテリ残量から算出した残り撮影可能時間や、記録媒体の空き容量に基づく撮影可能枚数などから、総合的に算出される。図3の場合、カメラのバッテリ残量が少ないケースなので記録可能容量は少なく、省電力解除条件は「ランクが5以上」となる。よって、人物の顔のうち、家族の顔が省電力モード中に検出された場合でのみ、省電力モードを解除する。イメージ304については、人物の顔は存在するが、家族の顔は存在しないため、省電力モードは解除しない。
次にイメージ305で再び被写体が検出される。被写体311はあらかじめ登録済のユーザの家族の顔である。この場合、前述の省電力解除条件である「ランクが5以上」を満たすため、非省電力モードに切り替わる。以降、イメージ306から307の期間は被写体311が検出され続けるため、非省電力モードで動作する。これにより、カメラが被写体を高フレームレートで捉え続けるため、ユーザはシャッタータイミングを逃さず狙う事ができる。次に非省電力モード中にイメージ308で被写体311が検出されなくなると、再び省電力モードに移行するよう処理判断され、イメージ309以降、再び被写体が検出されるまで省電力モードで動作する。
以上の方法により、省電力制御による稼働時間を確保しつつ、被写体のランクに応じて、高機能な非省電力モードへの移行制御を行うことが可能になる。
【0017】
図4は、本実施形態の電子カメラ100が記憶するテーブルの例を示した図である。これらのテーブルはあらかじめユーザの操作により設定され、電子カメラ100内に保存される。
図4(a)は、図2および図3において説明した検出対象定義テーブル202、301の例である。これらのテーブルは、検出対象である被写体の識別とともに検出対象である被写体に応じた重要度のランクを記憶している。ランクが高いほど、ユーザにとってより高品位で記録を残したい被写体であることを示す。なお、図2の検出対象定義テーブル202のように、重要度のランクを省略してもよい。図4(a)では、ランク3に人物の顔、動物が登録されており、ランク5に家族の顔が登録されている。ユーザが、あらかじめ被写体とランクとを登録しておくことで、カメラを省電力モードで長時間使用しながら、重要な被写体に関しては高画質で記録することができる。
【0018】
図4(b)、図4(c)は被写体を管理するためのテーブルの例である。これらのテーブルは電子カメラ100でDeepLearning等を用いて被写体を検出するための学習データを登録、管理するために使用する。図4(b)は被写体ID管理テーブルの例であり、機械学習対象となる被写体IDが記録される。図4(b)では、被写体IDにユーザの家族である「花子」、「太郎」が登録された状態を示している。これにより、図4(a)で被写体種別が「家族の顔」と言ったメタな表現で登録されたものをコンピュータ処理可能な具体的な被写体IDに変換することができる。
【0019】
図4(c)は機械学習データ管理テーブルの例である。このテーブルは機械学習に用いた教師学習データが記録されている。事前に撮影しておいた写真から被写体IDに対応する顔が写っている画像ファイルを教師学習データとして複数枚登録することで電子カメラ100は機械学習を行う。図4(c)には、花子、太郎それぞれの被写体IDに紐づく複数の学習済ファイルが管理されている。機械学習には高いプロセッサーの処理能力が必要であるため、機械学習は必ずしも電子カメラ100で行わなくても良い。別途処理能力の高いPCやクラウド上で機械学習を行い、その結果作り出される推論モデルのみを電子カメラ100に搭載することで、計算能力が十分でないカメラにおいても高精度な被写体検出を行うことが可能となる。そのような構成を取る場合は、図4(c)の機械学習データ管理テーブルについては電子カメラ100に搭載しなくても良い。
【0020】
図4(d)は、図3において説明した検出対象ランク定義テーブル302の例である。ここでは、電子カメラ100の残り記録可能容量に応じて、検出対象定義テーブル301に記録されている被写体のうち、ユーザにとって重要度の高いものをランク付けし、記録する。ここで登録された条件がカメラの省電力モード、非省電力モードへの移行条件として使用される。図4(d)では、記録可能容量が閾値より多い場合、ランク3以上の被写体の検出が非省電力モードへの移行条件となる。また、記録可能容量が閾値以下の場合、ランク5以上の被写体の検出が非省電力モードへの移行条件となる。前述の通り、記録可能容量については、カメラのバッテリ残量から算出した残り稼働時間や、記録媒体の空き容量などから、総合的に判定したものが適用される。なお、図4(d)では2段階の切り替え条件を例に示しているが、3段階以上の条件を設定しても良い。また、バッテリ残量は、あらかじめユーザが撮影イベントの時間を設定しておくことで、判定しても良い。また、あらかじめユーザがバッテリの予備数、メモリカードの予備数を設定しておくことで、判定に使用する残り稼働時間、記録媒体の空き容量を拡大しても良い。
【0021】
次に、図5のフローチャートを参照して、本実施形態の電子カメラ100の操作に係る基本的な処理手順の一例について説明する。
ステップS501において、CPU101は、各種パラメータの初期化等の初期化処理を行う。
ステップS502において、CPU101は、入力部102で検知する何らかのイベントが発生するのを待つ。CPU101は、物理的なボタンのみならずタッチパネル等のユーザの接触判定等によってイベント発生を検知する。
【0022】
ステップS503において、CPU101は、入力部102からの検知結果からイベントの種類を判別する。
ステップS504において、CPU101は、ステップS503で判別したイベントに基づいて各種処理を行う。ここでは後述の省電力モード移行処理、非省電力モード移行処理を始め、これらを実現するための各種処理を含む。
【0023】
次に、図6のフローチャートを参照して、本実施形態における検出対象の被写体の登録処理手順の一例を説明する。本フローチャートにおいて説明する処理には機械学習が含まれているため、高いプロセッサーの処理能力が必要である。そのため、本フローチャートはステップS504の一部として実行させても良いし、別途処理能力の高いPCやクラウド上で実行し、その結果作り出される推論モデルのみを電子カメラ100に搭載しても良い。これにより計算能力が十分でないカメラにおいても高精度な被写体検出を行うことが可能となる。
ステップS601において、CPU101は、被写体ID管理テーブルから学習対象の被写体IDを選択する。本手順で登録する被写体画像を教師学習データとして紐づける被写体を選択する。もし所望の被写体が登録済で無ければ、このタイミングで新規に登録してもよい。
ステップS602において、CPU101は、被写体IDに対応した画像を教師学習データとして選択する。教師学習データとして登録する画像はあらかじめユーザが撮り溜めたものの中から選択する。CPU101は、選択した教師学習データを前述の図4(c)記載の機械学習データ管理テーブルに格納する。
【0024】
ステップS603において、CPU101は、ステップS602で選択した被写体の画像を教師学習データとして人工知能(AI)に機械学習させることで、所望の推論モデルを構築する。
ステップS604において、CPU101は、被写体の機械学習が十分に行われたか否かを判定する。CPU101が、被写体の機械学習が十分に行われていないと判定した場合は、教師学習データを追加してさらに機械学習を行う必要があるため、再びステップS602に進む。一方、CPU101が、被写体の機械学習が十分に行われたと判定した場合は処理を終了する。学習が十分か否かの判定は、例えば、ユーザが評価画像を推論モデルに指定し、所望の結果が得られるかどうかで行う。
【0025】
なお、図6の処理は、1つの被写体IDに対して機械学習を行う手順を示したものであるが、それ以外の被写体IDに対して機械学習を行う場合は、機械学習を行う被写体の数だけ図6の処理を繰り返せばよい。
【0026】
次に、図7のフローチャートを参照して、図2に示した基準に従って被写体の検出判定を伴う省電力モード、非省電力モードへの移行制御に関する一連の処理手順を説明する。本フローチャートはステップS504の一部として、例えば電子カメラ100で規定されたフレームレートで繰り返し実行する。
ステップS701において、CPU101は、レンズから得られた光を撮像部109のイメージセンサーで捉え、イメージデータに現像する。
ステップS702において、CPU101は、ステップS701により取得したイメージデータを解析し、人物の顔や物体などを被写体として検出する。一度の検出処理で複数個の被写体を検出することも考えられる。なお、以下のステップS703およびステップS704は、検出された被写体それぞれに対して行う。
ステップS703において、CPU101は、ステップS702で検出された被写体の中から1つを選択し、その選択した被写体と、検出対象定義テーブル202に登録済の被写体とを比較する。
【0027】
ステップS704において、CPU101は、ステップS703の比較の結果、処理対象となる被写体が、検出対象定義テーブル202で登録された被写体であるか否かを判定する。CPU101が、登録された被写体であると判定した場合はステップS707に進む。一方、CPU101が、登録された被写体でないと判定した場合はステップS705に進む。
ステップS705において、CPU101は、ステップS702で検出された被写体のうち、未評価の被写体が存在するか否かを判定する。未評価の被写体とは、ステップS704の処理を実施していない被写体である。CPU101が、未評価の被写体が存在すると判定した場合は、再びステップS704に進む。一方、CPU101が、未評価の被写体が存在しないと判定した場合はステップS706に進む。
ステップS706において、CPU101は、電子カメラ100の動作モードを省電力モードとし、処理を終了する。
ステップS707において、CPU101は、電子カメラ100の動作モードを非省電力モードとし、処理を終了する。
【0028】
図8は、本実施形態における、図3に示す基準に従って記録可能容量の算出結果に応じた被写体の検出判定を伴う省電力モード、非省電力モードへのモード変更制御に関する一連の処理手順を説明するフローチャートである。本フローチャートは図5におけるステップS504の一部として、カメラで規定されたフレームレート等で実行する。
ステップS801において、CPU101は、電子カメラ100のバッテリ残量から算出した残り撮影可能時間や、記録媒体の空き容量に基づく撮影可能枚数などから現在の記録可能容量を総合的に算出し、RAM107上に保持する。
ステップS802において、CPU101は、ステップS701と同様の処理を行う。
ステップS803において、CPU101は、ステップS702と同様の処理を行う。
【0029】
ステップS804において、CPU101は、ステップS703と同様の処理を行う。
ステップS805において、CPU101は、ステップS704と同様の処理を行う。CPU101が、検出対象定義テーブル301に登録された被写体であると判定した場合はステップS806に進む。一方、CPU101が、検出対象定義テーブル301に登録された被写体でないと判定した場合はステップS807に進む。
ステップS806において、CPU101は、検出対象ランク定義テーブル302を参照し、処理対象の被写体が、ステップS801で算出した記録可能容量に応じた重要度のランクに該当する被写体であるか否か判定する。このとき、図3に示した例のように、家族の顔など特定の人物の顔を認識する必要がある場合には、CPU101は人物の顔認識も行う。人物の顔認識は、図6に示す手順で被写体IDごとに機械学習されることによって実現できる。
CPU101が、重要度のランクに該当する被写体であると判定した場合はステップS809に進む。一方、CPU101が、重要度のランクに該当する被写体でないと判定した場合はステップS807に進む。図3の例では、記録可能容量が少ない場合、検出対象定義テーブル301に定義されている被写体のうち、ユーザの家族の顔が含まれた場合、省電力モードから非省電力モードに移行する。また一方で、記録可能容量が少ない場合であっても、ユーザの家族以外の人物の顔しか検出されなかった場合は、非省電力モードには移行しない。
ステップS807において、CPU101は、ステップS705と同様の処理を行う。CPU101が、未評価の被写体が存在すると判定した場合は、再びステップS804に進む。一方、CPU101が、未評価の被写体が存在しないと判定した場合はステップS808に進む。
ステップS808において、CPU101は、ステップS706と同様の処理を行う。
ステップS809において、CPU101は、ステップS707と同様の処理を行う。
【0030】
このように本実施形態の構成によれば、省電力制御による稼働時間を確保しつつ、高機能な非省電力モードへの移行制御を行うユーザ設定にかかる手間を軽減することができる。なお、本実施形態において電子カメラを例に説明したが、電子カメラに限らず、他の電子機器であってもよい。
【0031】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0032】
101 CPU
図1
図2
図3
図4
図5
図6
図7
図8