特許 7442331 音声入力装置およびその制御方法ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】音声入力装置およびその制御方法ならびにプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240226BHJP

   G10L 15/28 20130101ALI20240226BHJP

   G10L 15/10 20060101ALI20240226BHJP

   H04N 23/63 20230101ALI20240226BHJP

   H04N 23/667 20230101ALI20240226BHJP

   G03B 7/091 20210101ALI20240226BHJP

【ＦＩ】

G06F3/16 630

G10L15/28 230K

G10L15/10 200W

H04N23/63 300

H04N23/667

G03B7/091

【請求項の数】 11

(21)【出願番号】P 2020018212

(22)【出願日】2020-02-05

(65)【公開番号】P2021124976

(43)【公開日】2021-08-30

【審査請求日】2023-01-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】植野 大優

【審査官】前地 純一郎

(56)【参考文献】

【文献】特開２０１６－１１９６１５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５５１１６（ＷＯ，Ａ１）

【文献】特開２０１９－０８６５３５（ＪＰ，Ａ）

【文献】特開２００４－２０１１０４（ＪＰ，Ａ）

【文献】特開２０１０－１３０４８７（ＪＰ，Ａ）

【文献】特開２０１３－０５８９９６（ＪＰ，Ａ）

【文献】特開２０１５－０１２３３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００２５７３３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００ －１７／２６

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｇ０３Ｂ ７／００ － ７／３０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

音声入力装置であって、
音声を入力する音声入力手段と、
撮像手段と、
前記撮像手段によって撮像する被写体を視認可能なファインダと、
前記ファインダに対する接眼状態を検出可能な検出手段と、
前記音声入力装置に対する音声による操作を有効にするための第１の音声命令が入力された後の一定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御手段とを有し、
前記制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されている場合には、前記第１の音声命令が入力されていない場合であっても、前記第２の音声命令が入力されると、前記第２の音声命令に対応する処理を実行する、ことを特徴とする音声入力装置。

【請求項2】

前記音声入力手段による音声の入力を有効化する有効化手段を更に有し、
前記制御手段は、前記有効化手段により音声の入力が有効化されている場合に前記第２の音声命令に対する制御を行う、ことを特徴とする請求項１に記載の音声入力装置。

【請求項3】

前記撮像手段によって撮影して得られる画像情報をファインダに内蔵される第１の表示手段と前記ファインダの外側に搭載される第２の表示手段の、いずれか一方に表示させる表示制御手段と、を更に有し、
前記表示制御手段は、前記ファインダに対する接眼状態が検出されているか否かに応じて、前記第１の表示手段と前記第２の表示手段で画像情報の表示出力先を切り替える、ことを特徴とする請求項１又は２に記載の音声入力装置。

【請求項4】

前記表示制御手段は、前記音声入力装置が、前記第１の音声命令が入力されていない場合に、前記第２の音声命令が入力されると前記第２の音声命令に対応する処理を実行する第１の状態であることを前記第１の表示手段に表示させる、ことを特徴とする請求項３に記載の音声入力装置。

【請求項5】

前記表示制御手段は、前記音声入力装置が前記第１の状態でない第２の状態であることを前記第２の表示手段に表示させる、ことを特徴とする請求項４に記載の音声入力装置。

【請求項6】

画像情報を表示させる第１の表示手段を点灯させる表示制御手段を更に有し、
前記表示制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されているか否かに応じて、前記第１の表示手段の点灯状態を切り替える、ことを特徴とする請求項１又は２に記載の音声入力装置。

【請求項7】

前記制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されている場合には、前記検出手段により前記ファインダに対する接眼状態が検出されていない場合よりも前記音声入力手段の感度を低下させる、ことを特徴とする請求項１から６のいずれか１項に記載の音声入力装置。

【請求項8】

前記制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されているか否かに応じて、入力された音声に対する処理時間が異なる動作モードを設定する、ことを特徴とする請求項１から７のいずれか１項に記載の音声入力装置。

【請求項9】

ユーザの視線を検出する視線検出手段を更に有し、
前記制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されている場合であって且つ前記視線検出手段により前記ユーザの視線を検出した場合に、前記第１の音声命令が入力されていない場合であっても、前記第２の音声命令が入力されると、前記第２の音声命令に対応する処理を実行する、ことを特徴とする請求項１から８のいずれか１項に記載の音声入力装置。

【請求項10】

音声を入力する音声入力手段と、被写体を視認可能なファインダと、前記ファインダに対する接眼状態を検出可能な検出手段とを備える音声入力装置の制御方法であって、
前記音声入力装置に対する音声による操作を有効にするための第１の音声命令が入力された後の一定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御工程を有し、
前記制御工程では、前記検出手段により前記ファインダに対する接眼状態が検出されている場合には、前記第１の音声命令が入力されていない場合であっても、前記第２の音声命令が入力されると、前記第２の音声命令に対応する処理を実行する、ことを特徴とする音声入力装置の制御方法。

【請求項11】

コンピュータを、請求項１から９のいずれか１項に記載の音声入力装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声入力装置およびその制御方法ならびにプログラムに関する。

【背景技術】

【0002】

近年、発話された音声入力を認識して、音声入力に対応した操作を行うことができる音声操作機能を備える装置が知られている。音声操作機能により、音声を使って、例えば、閲覧する所望のページを表示させる操作や、装置の現在の設定値を変更する操作、或いは、特定の相手に電話をかけたりメールの文章を入力したりする操作を行うことができる。音声操作機能には、自然な発話で操作を行うことができるといった利点がある一方で、意図しない音声に装置が反応し、誤動作が発生する場合がある。

【0003】

特許文献１では、音声操作の可能な装置がウェイクワードという音声操作を有効にするための特定の音声コマンドを受け付け、ウェイクワードから所定期間にのみ音声操作を受け付けることにより誤動作の発生を低減させる技術を提案している。また、特許文献２では、近接センサーと音声操作を組み合わせた装置であって、近接センサーが反応すると音声入力受付を開始する技術を提案している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－８６５３５号公報

【文献】特開平２－１３１３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１で提案された技術では、音声操作を実行するためには常にウェイクワードを入力する手間を要する課題がある。撮像装置を操作する際には、シャッターチャンスを逃さないように素早い設定変更が望まれる場合がある。ウェイクワードを常に入力する手間を要する場合、単純に操作が煩わしくなるだけでなく、ウェイクワードを伝えてから音声操作を行っていると所望のシャッターチャンスを逃してしまうおそれがある。

【0006】

また、特許文献２で提案された技術では、近接センサが反応している場合に初めて音声入力の受付を開始するため、近接センサが反応していないような距離にいる場合に音声操作を行うことができない課題がある。すなわち、例えば、撮像装置から離れた位置から集合写真を撮影するような場合に、音声操作（例えば撮影指示）を行いたいユーザは、いったん近接センサが反応する場所まで移動してから、音声を入力する必要がある。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、近接センサを備える音声入力装置において、音声操作を行う際に迅速な操作を可能にすると共に容易な音声操作を実現することが可能な技術を実現することである。

【課題を解決するための手段】

【0008】

この課題を解決するため、例えば本発明の音声入力装置は以下の構成を備える。すなわち、音声入力装置であって、音声を入力する音声入力手段と、撮像手段と、前記撮像手段によって撮像する被写体を視認可能なファインダと、前記ファインダに対する接眼状態を検出可能な検出手段と、前記音声入力装置に対する音声による操作を有効にするための第１の音声命令が入力された後の一定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御手段とを有し、前記制御手段は、前記検出手段により前記ファインダに対する接眼状態が検出されている場合には、前記第１の音声命令が入力されていない場合であっても、前記第２の音声命令が入力されると、前記第２の音声命令に対応する処理を実行する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、近接センサを備える音声入力装置において、音声操作を行う際に迅速な操作を可能にすると共に容易な音声操作を実現することが可能になる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る音声入力装置の一例としてのデジタルカメラの外観を示す図

【図2】本実施形態に係るデジタルカメラの機能構成例を示すブロック図

【図3】本実施形態に係るメイン処理の一連の動作を示すフローチャート

【図4】本実施形態における写真の再生画面の一例を示す図

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下では音声入力装置の一例として、音声認識を用いた操作が可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、音声認識を用いた操作の可能な他の機器にも適用可能である。これらの機器には、例えば、スマートフォン、パーソナルコンピュータ、ゲーム機、タブレット端末、音楽プレーヤ、ＶＲ又はＡＲヘッドセット、医療機器などが含まれてよい。

【0013】

（デジタルカメラの構成）
図１（ａ）及び図１（ｂ）は、本実施形態に係る音声入力装置の一例としてのデジタルカメラ１００の外観図を示している。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。

【0014】

メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が可能である。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行うことができる。十字キー７４は操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材である。十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。音声入力ボタン７７は、当該ボタンを押下している時だけ音声による操作有効にするように制限することができるボタンである。但し、以下の説明では、音声入力ボタン７７の押下の有無にかかわらず、音声を入力することができる設定値が設定されており、音声操作に応じて各種処理が動作する場合を例に説明する。拡大ボタン７８は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて各種設定を行うことができる。

【0015】

通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。

【0016】

蓋２０２は記録媒体２００を格納するスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

【0017】

次に、図２を参照して、本実施形態によるデジタルカメラ１００の機能構成例について説明する。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

【0018】

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

【0019】

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

【0020】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小などのリサイズ処理、及び色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

【0021】

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0022】

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

【0023】

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、接眼部１６に接眼したユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

【0024】

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサを含み、視線検知センサー１６４の出力信号に基づき、ユーザの眼球（目）１６１の画像または動きからユーザの視線位置を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。視線検出ブロック１６０では、例えば、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。

【0025】

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値が表示される。

【0026】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。

【0027】

システム制御部５０は、１つ以上のプロセッサを含み、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開、実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。

【0028】

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0029】

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

【0030】

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

【0031】

操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。上述したように、操作部７０には、シャッターボタン６１やタッチパネル７０ａ、メイン電子ダイヤル７１、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５などが含まれる。また、動画ボタン７６、音声入力ボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１なども操作部７０に含まれる。

【0032】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量を検出する。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を含む。

【0033】

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0034】

通信部５４は、例えば通信回路又は通信モジュールを含み、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は携帯電話用無線通信や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

【0035】

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

【0036】

接眼検知部５７はファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくともデジタルカメラ１００が撮影待機状態、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部５７の投光部および受光部は前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６で兼ねてもよい。また、受光部を視線検知センサー１６４で兼ねてもよい。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

【0037】

システム制御部５０は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部１６に接眼したユーザの視線が新たに入力（検出）されたこと。すなわち、視線入力の開始。
・接眼部１６に接眼したユーザの視線入力がある状態であること。
・接眼部１６に接眼したユーザが注視している状態であること。
・接眼部１６に接眼したユーザが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６に接眼したユーザが何も視線入力していない状態。
ここで述べた注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

【0038】

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

【0039】

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0040】

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

【0041】

音声入力部８５は、不図示のマイクロフォンを含み、デジタルカメラの周囲の音や後述ユーザからの音声命令を取得する処理を行う。また、デジタルカメラ本体に限らず、有線または無線通信を介してデジタルカメラ（ネットワークカメラを含む）と通信し、デジタルカメラを遠隔で制御する制御装置にも本発明を適用可能である。デジタルカメラを遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側からデジタルカメラに各種動作や設定を行わせるコマンドを通知することにより、デジタルカメラを遠隔から制御可能である。また、デジタルカメラで撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

【0042】

（メイン処理の一連の動作）
次に、本実施形態に係るメイン処理について図３を参照して説明する。メイン処理の動作は、ＥＶＦ２９を内蔵するファインダーへの近接を検知し、音声操作が完了するまでの動作である。なお、メイン処理の各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。ウェイクワードは、デジタルカメラ１００に対する音声による操作を有効にするための特定の音声命令である。

【0043】

Ｓ３０１において、システム制御部５０は、ＥＶＦ２９を内蔵するファインダーへの近接が検知されたかどうかを判定する。システム制御部５０は、例えば接眼検知部５７からの信号に基づいて、ＥＶＦ２９を内蔵するファインダーへの物体の近接が検知されたと判定した場合はＳ３０２へ進み、ファインダーへの近接が検知されなかったと判定した場合はＳ３０３へ進む。

【0044】

Ｓ３０２において、システム制御部５０は、視線検出ブロック１６０によってユーザの視線を検知したかどうかを判定する。システム制御部５０は、視線検出ブロック１６０からの信号に基づきユーザの視線を検知したと判定した場合はＳ３０６へ進み、ユーザの視線を検知していないと判定した場合はＳ３０３へ進む。

【0045】

Ｓ３０３において、システム制御部５０は、モニター表示部２８に画像情報の表示出力先を切り替える。なお、システム制御部５０は、モニター表示部２８に表示出力先を切り替えるのではなくモニター表示部２８を点灯させる処理を実行（すなわちモニター表示部２８の点灯状態を制御する）してもよい。このようにすればＥＶＦ２９を内蔵してない光学ファインダーを覗きながら撮影するときに、離眼するだけでモニターの情報を確認することができる。

【0046】

Ｓ３０４において、システム制御部５０は、デジタルカメラ１００の状態をウェイクワード非省略状態に変更し、デジタルカメラの状態情報をメモリ３２（システムメモリ５２であってよい。以下同様。）に記憶させる。システム制御部５０は、デジタルカメラ１００の状態情報に基づいて、デジタルカメラ１００がウェイクワード省略状態であるかを判定する。以下に説明するように、原則として、デジタルカメラ１００は、入力された音声命令がウェイクワードである場合に、音声命令有効状態となり、その後に受信した音声命令に対応する処理を実行する。しかし、ウェイクワード省略状態では、ウェイクワードを受信することなく（すなわち、ウェイクワードの受信を省略して）はじめに受信した音声命令により、音声命令に対応する処理を実行することができる。つまり、ウェイクワード省略状態を設けることにより、音声操作を行う際に迅速な操作を可能にする。

【0047】

また、ウェイクワード非省略状態とは、ユーザがウェイクワードを入力してからでないと音声命令により音声操作を行うことができない状態である。ウェイクワード非省略状態は、ウェイクワードを受け付けて音声操作が有効になっている音声命令有効状態と、ウェイクワードを受け付けておらず音声操作が無効になっている音声命令無効状態とのサブ状態を有している。

【0048】

Ｓ３０５において、システム制御部５０は、デジタルカメラ１００の状態を詳細音声モードに変更し、当該デジタルカメラ１００の状態情報をメモリ３２に記憶させる。詳細音声モードは、対応している音声命令の種類が豊富な音声処理エンジンを利用したり、精度の高いクラウド上のサーバで音声処理させたりするなど、処理時間の長い音声を処理する動作モードである。

【0049】

Ｓ３０６において、（Ｓ３０２においてユーザの視線を検知すると）システム制御部５０は、ＥＶＦ２９を内蔵するファインダー表示に画像情報の表示出力先を切り替える。なお、システム制御部５０は、ファインダー表示に切り替えるのではなくモニター画面を消灯させる処理を実行してもよい。これによりＥＶＦ２９を内蔵してない光学ファインダーを覗きながら撮影するときにモニター表示部２８が光って眩しいという課題を解決できる効果がある。

【0050】

Ｓ３０７において、システム制御部５０は、デジタルカメラ１００の状態をウェイクワード省略状態に変更し、当該デジタルカメラ１００の状態情報をメモリ３２に記憶させる。Ｓ３０８において、システム制御部５０は、ウェイクワード省略中を示す画面を、ＥＶＦ２９を内蔵するファインダーに表示する。例えば、図４（ａ）はウェイクワード省略中を示す音声操作可能な画面の一例であり、ガイダンス４０１はウェイクワード省略状態を示すガイダンスである。なお、この例では、ウェイクワード省略状態を示す表示例としてガイダンスを表示する場合を例に説明しているが、アイコンを表示してもよい。

【0051】

このように、システム制御部５０は、デジタルカメラ１００が、ウェイクワードが入力されていない場合であっても、音声命令が入力されると当該音声命令に対応する処理を実行する状態であることをファインダーに表示させるように表示制御を行う。

【0052】

Ｓ３０９において、システム制御部５０は、デジタルカメラ１００の状態を簡易音声モードに変更し、デジタルカメラ１００の状態情報をメモリ３２に記憶させる。簡易音声モードは、対応している音声命令の種類が少ない音声処理エンジンを利用したり、クラウドより比較的精度の低い本体内で音声処理させたりするなど、処理時間の短い音声を処理する動作モードである。

【0053】

Ｓ３１０において、システム制御部５０は、音声入力部８５を構成するマイクロフォンの感度を（ユーザが近接していない状態における感度よりも）低下させる。この動作では、マイクロフォンの感度を下げることによって一般に音声を拾いづらくなるものの、本ステップの状態では、ユーザがファインダーを覗いているためにデジタルカメラ１００の本体に近接している。このためマイクロフォンの感度を下げてもユーザの音声命令の入力において問題は生じ難い。他方、マイクロフォンの感度を下げることでユーザ以外から発せられた意図しない音声による誤操作を低減することができる。このように、本実施形態に係るメイン処理では、ファインダーへの接近検知によりデジタルカメラ１００への近接が検知されているか否かに応じて、モニタ表示とファインダー表示で表示出力先を切り替える。

【0054】

Ｓ３１１において、システム制御部５０は、ユーザからの音声命令を音声入力部８５から受信したかを判定する。システム制御部５０は、音声入力部８５からの信号に基づいてユーザからの音声命令から音声入力部８５で受信したと判定した場合はＳ３１２へ進み、ユーザからの音声命令を受信していないと判定した場合はＳ３２０へ進む。

【0055】

Ｓ３１２において、システム制御部５０は、デジタルカメラ１００がウェイクワード省略状態であるかを判定する。システム制御部５０は、例えば、メモリ３２に記憶されているデジタルカメラ１００の状態情報に基づいて、デジタルカメラ１００がウェイクワード省略状態であるかを判定する。システム制御部５０は、デジタルカメラ１００の状態がウェイクワード省略状態であると判定した場合はＳ３１３へ進み、ウェイクワード省略状態でないと判定した場合はＳ３１６へ進む。

【0056】

Ｓ３１３において、システム制御部５０は、音声入力ボタン７７の押下状態を取得し、デジタルカメラ１００の状態情報をメモリ３２に記憶させる。Ｓ３１４において、システム制御部５０は、メモリ３２に記憶されているデジタルカメラ１００の状態情報に基づいて、音声入力ボタン７７が押下中の状態かを判定する。音声入力ボタン７７は、音声入力部８５による音声の入力を有効化する。音声入力ボタン７７が押下中の状態であると判定した場合はＳ３１５へ進み、音声入力ボタン７７が押下中でない場合はＳ３２３へ進む。

【0057】

Ｓ３１５において、システム制御部５０は、ユーザから入力された音声命令に従って、音声命令処理を実行する。音声命令処理には、例えば、ユーザからの音声命令に従って静止画や動画の撮影を行う処理が含まれる。或いは、音声命令と対応する「シャッター速度（Ｔｖ値）や絞り値（Ａｖ値）の設定値を確認」するための画面を表示させたり、音声命令に従って当該音声命令と対応する「ヘルプガイダンスや写真のページ送り」を実行する処理などが含まれてよい。

【0058】

Ｓ３１６において、システム制御部５０は、音声命令による操作が有効である状態（音声命令有効状態）であるかを判定する。システム制御部５０は、例えば、メモリ３２に記憶されているデジタルカメラ１００の状態情報に基づいて、デジタルカメラ１００の状態がウェイクワード非省略状態の音声命令有効状態であると判定した場合にはＳ３１３へ進む。一方、システム制御部５０は、デジタルカメラ１００の状態がウェイクワード非省略状態の音声命令有効状態でない場合はＳ３１７へ進む。

【0059】

Ｓ３１７において、システム制御部５０は、受信した音声命令が予め定められたウェイクワードであるかどうかを判定する。受信した音声命令が予め定められたウェイクワード（すなわち音声操作を有効にするための特定の音声命令）と一致する等により音声命令がウェイクワードであると判定した場合Ｓ３１８へ進む。一方、システム制御部５０は、受信した音声命令がウェイクワードでないと判定した場合にはＳ３２３へ進む。

【0060】

Ｓ３１８において、システム制御部５０は、一定時間にわたって、デジタルカメラ１００を、音声命令による操作が有効である状態（すなわち音声命令有効状態）に設定する。このとき、システム制御部５０は、当該状態をメモリ３２のデジタルカメラ１００の状態情報に記憶させて、音声命令有効状態の継続時間をタイマーで計時する。

【0061】

Ｓ３１９において、システム制御部５０は、例えば、図４（ｂ）に示す音声命令有効状態画面を表示部２８に表示させる。図４（ｂ）に示す例では、音声操作が可能な画面に、デジタルカメラ１００の状態が音声命令有効状態であることを示すガイダンス４０２を表示している。なお、図４（ｂ）に示す例では、ガイダンスを表示する場合を例に説明しているが、同様の状態を所定のアイコンで示してもよい。

【0062】

Ｓ３２０において、システム制御部５０は、デジタルカメラ１００の状態が音声命令有効状態に変わってから一定時間だけ経過したかを判定する。システム制御部５０は、例えばタイマーの計時時刻に基づいて、音声命令有効状態に変化してから一定時間だけ経過したと判定した場合はＳ３２１へ進み、音声命令有効状態に変わってから一定時間経過していない場合はＳ３２３へ進む。

【0063】

Ｓ３２１において、システム制御部５０は、デジタルカメラ１００の状態を、音声命令による操作が無効となる状態（音声命令無効状態）に設定して、当該状態をメモリ３２のデジタルカメラ１００の状態情報に記憶させる。Ｓ３２２において、システム制御部５０は、例えば、図４（ｃ）に示す音声命令無効状態画面を表示部２８に表示する。図４（ｃ）に示す例では、音声操作が可能な画面に、デジタルカメラ１００の状態が音声命令無効状態であることを示すガイダンス４０３を表示している。なお、図４（ｃ）に示す例では、ガイダンスを示す場合を例に説明しているが、同様の状態を所定のアイコンで示してもよい。

【0064】

このように、システム制御部５０は、デジタルカメラ１００の状態を音声命令有効状態に変更してから一定時間の間に音声命令が受信された場合には、当該音声命令に対応する処理を実行する。一方、デジタルカメラ１００の状態を音声命令有効状態に変更してから一定時間の間に音声命令が受信されない場合には、デジタルカメラ１００の状態を音声命令無効状態に再び戻して、音声命令に基づいて誤動作しないように音声命令を処理しない。

【0065】

Ｓ３２３において、システム制御部５０は、電源スイッチ７２を電源オフされたなどメイン処理終了指示が行われたかを判定する。メイン処理終了指示が行われたと判定した場合はメイン処理を終了し、メイン処理終了指示が行われていないと判定した場合はＳ３０１へ処理を戻す。なお、上述の動作の中でモードダイヤルなどを回されるなどの異常系操作が行われた場合、システム制御部５０は、メイン処理の一連の動作を途中で中断してもよい。

【0066】

以上説明したように、本発明によれば、（ユーザによる）デジタルカメラへの近接を近接センサーが検出していない場合はウェイクワードを伝えることで音声操作を開始するようにした。このため、ユーザはデジタルカメラ１００に近接しなくても離れて操作を行うことができるため、容易な音声操作を実現することができる。他方、デジタルカメラへの近接を近接センサーが検知している場合にはウェイクワードを省略することで、即座に音声操作を開始でき、音声操作を行う際に迅速な操作を可能にすることができる。

【0067】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0068】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0069】

２２…撮像部、２８…表示部、２９…ＥＶＦ、５０…システム制御部、７０…操作部、８５…音声入力部、７７…音声入力ボタン、１６０…視線検出ブロック

【図1】

【図2】

【図3】

【図4】