IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レノボ・シンガポール・プライベート・リミテッドの特許一覧

特許7526776情報処理システム及び画像処理方法並びに画像処理プログラム
<>
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図1
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図2
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図3
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図4
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図5
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図6
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図7
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図8
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図9
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図10
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図11
  • 特許-情報処理システム及び画像処理方法並びに画像処理プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-24
(45)【発行日】2024-08-01
(54)【発明の名称】情報処理システム及び画像処理方法並びに画像処理プログラム
(51)【国際特許分類】
   H04N 23/695 20230101AFI20240725BHJP
   H04N 23/69 20230101ALI20240725BHJP
   H04N 7/15 20060101ALI20240725BHJP
   G06T 7/00 20170101ALI20240725BHJP
   G06V 10/25 20220101ALI20240725BHJP
【FI】
H04N23/695
H04N23/69
H04N7/15
G06T7/00 660A
G06V10/25
【請求項の数】 7
(21)【出願番号】P 2022175516
(22)【出願日】2022-11-01
(65)【公開番号】P2024066156
(43)【公開日】2024-05-15
【審査請求日】2022-11-01
(73)【特許権者】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(74)【代理人】
【識別番号】100136168
【弁理士】
【氏名又は名称】川上 美紀
(74)【代理人】
【識別番号】100140914
【弁理士】
【氏名又は名称】三苫 貴織
(74)【代理人】
【識別番号】100172524
【弁理士】
【氏名又は名称】長田 大輔
(72)【発明者】
【氏名】バヴェジャ ウペンドラ
(72)【発明者】
【氏名】織田大原 重文
(72)【発明者】
【氏名】今井 拓水
(72)【発明者】
【氏名】小室 武
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2010-147769(JP,A)
【文献】特開2016-122875(JP,A)
【文献】特開2020-057901(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/695
H04N 23/69
H04N 7/15
G06T 7/00
G06V 10/25
(57)【特許請求の範囲】
【請求項1】
カメラと、
前記カメラによって取得された画像に含まれる顔を検出する顔検出手段と、
検出された顔の数に応じてフレーミングの反応パラメータを設定するパラメータ設定部と、
設定された前記反応パラメータを用いて前記画像のフレーミングを行うフレーミング部と
を具備し、
前記パラメータ設定部は、前記画像に含まれる顔の数が増加すると、フレーミングの反応が遅くなるように、反応パラメータを設定する情報処理システム。
【請求項2】
前記顔検出手段によって検出された顔の数が増加したか否かを判定する判定部を備え、
前記パラメータ設定部は、前記顔の数が増加するまでの期間が所定の期間以上であった場合に、フレーミングの反応を最も遅くする反応パラメータを設定する請求項に記載の情報処理システム。
【請求項3】
前記顔検出手段によって検出された顔の数が増加したか否かを判定する判定部を備え、
前記フレーミング部は、前記顔の数が増加するまでの期間が所定の期間以上であった場合に、フレーミングを所定期間停止する請求項に記載の情報処理システム。
【請求項4】
前記パラメータ設定部は、画像に含まれる顔の数と反応パラメータとが関連付けて登録されたパラメータ情報を有し、画像に含まれる顔の数に対応する反応パラメータを前記パラメータ情報から取得して設定する請求項1に記載の情報処理システム。
【請求項5】
前記反応パラメータは、前記フレーミングの感度に関する感度パラメータ及び前記フレーミングの速度に関する速度パラメータの少なくとも一つを含んでいる請求項1に記載の情報処理システム。
【請求項6】
コンピュータが、
カメラによって取得された画像に含まれる顔を検出する顔検出処理と
検出した顔の数に応じてフレーミングの反応パラメータを設定するパラメータ設定処理と
設定した前記反応パラメータを用いて前記画像のフレーミングを行うフレーミング処理と
を実行し、
前記パラメータ設定処理は、前記画像に含まれる顔の数が増加すると、フレーミングの反応が遅くなるように、反応パラメータを設定する画像処理方法。
【請求項7】
請求項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム及び画像処理方法並びに画像処理プログラムに関するものである。
【背景技術】
【0002】
近年、ビデオ会議が頻繁に行われるようになり、これに伴いビデオ会議に適した機能を有するカメラモジュールが提案されている。例えば、従来、VPU(Visual Processing Unit)を内蔵し、フレーミング(視野角の調整)を自動で行うことで、より自然なビデオ会議を実現させるカメラモジュールが提案されている。
このようなカメラモジュールでは、画像内の人物の位置と領域を検出し、検出結果に基づいて関心領域(ROI:Region of interest)を設定し、関心領域と出力画像の解像度に基づいて、画像の自動調整が行われる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ところで、画像のオートフレーミングが頻繁に行われると、画像が上下左右や奥行方向(ズームイン/ズームアウト)に揺れる現象が発生する。このような揺れは、フレーム内にいる人数が多いほど顕著に表れる傾向があり、ユーザエクスペリエンスを低下させる可能性がある。
【0004】
本開示は、このような事情に鑑みてなされたものであって、ユーザエクスペリエンスの向上を図ることのできる情報処理システム及び画像処理方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の第一態様は、カメラと、前記カメラによって取得された画像に含まれる顔を検出する顔検出手段と、検出された顔の数に応じて前記フレーミングの反応パラメータを設定するパラメータ設定部と、設定された前記反応パラメータを用いて前記画像のフレーミングを行うフレーミング部とを具備し、前記パラメータ設定部は、前記画像に含まれる顔の数が増加すると、フレーミングの反応が遅くなるように、反応パラメータを設定する情報処理システムである。
【0006】
本開示の第二態様は、コンピュータが、カメラによって取得された画像に含まれる顔を検出する顔検出処理と、検出した顔の数に応じてフレーミングの反応パラメータを設定するパラメータ設定処理と、設定した前記反応パラメータを用いて前記画像のフレーミングを行うフレーミング処理と、を実行し、前記パラメータ設定処理は、前記画像に含まれる顔の数が増加すると、フレーミングの反応が遅くなるように、反応パラメータを設定する画像処理方法である。
【0007】
本開示の第三態様は、上記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【0008】
本開示の情報処理システム及び画像処理方法並びに画像処理プログラムによれば、ユーザエクスペリエンスの向上を図ることができるという効果を奏する。
【図面の簡単な説明】
【0009】
図1】本開示の第1実施形態に係るカメラモジュールの一例としての外観図である。
図2】本開示の第1実施形態に係るカメラモジュールが備えるハードウェア構成の一構成例を示した図である。
図3】本開示の第1実施形態に係るカメラモジュールが備える画像処理機能の一例を示した機能構成図である。
図4】本開示の第1実施形態に係るパラメータ情報の一例を示した図である。
図5】本開示の第1実施形態に係るパラメータ情報の他の例を示した図である。
図6】本開示の第1実施形態に係るフレーミング部によって実行されるオートフレーミングの一例について説明した図である。
図7】本開示の第1実施形態に係るフレーミング部によって実行されるオートフレーミングの一例について説明した図である。
図8】本開示の第1実施形態に係るカメラモジュールが実行する画像処理方法の処理手順の一例を示したフローチャートである。
図9】本開示の第2実施形態に係るカメラモジュールが備える画像処理機能の一例を示した機能構成図である。
図10】本開示の第3実施形態に係るカメラモジュールが備える画像処理機能の一例を示した機能構成図である。
図11】本開示の第3実施形態において画像に含まれる顔が1つの場合のフレームセットの一例を示した図である。
図12】本開示の第3実施形態において画像に複数の顔が含まれる場合のフレームセットの一例を示した図である。
【発明を実施するための形態】
【0010】
〔第1実施形態〕
以下に、本開示の第1実施形態に係る情報処理システム及び画像処理方法並びに画像処理プログラムの一実施形態について、図面を参照して説明する。以下、情報処理システムの一例として、カメラモジュール1を例示して説明する。
【0011】
図1は、本実施形態に係るカメラモジュール1の一例としての外観図である。図1に示すように、カメラモジュール1は、カメラ2と、カメラ2を支持するとともに後述する画像処理部10を構成する各種電子部品を収容する筐体3とを備えている。
【0012】
カメラ2は、例えば、レンズ、レンズ駆動部、及びイメージセンサ等を備えている。レンズは、被写体からの光を取り込み、イメージセンサに被写体像を結像させる。イメージセンサは、レンズにより取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサでは、例えば、赤(R)、緑(G)、青(B)の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換した画像データ(RAWデータ)を画像処理部10に出力する。カメラ2は、公知のカメラを採用することが可能である。
【0013】
画像処理部10(図3参照)は、カメラ2から出力された画像データ(RAWデータ)に対して所定の信号処理(画像処理)を実施する。画像処理部10は、例えば、RAWデータに対して自動露出調整、自動ホワイトバランス調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等の各種処理を行う。更に、画像処理部10は、画像データを解析し、オートフレーミングを行う。オートフレーミングについての詳細は後述する。
画像処理部10において処理が行われた画像データは、例えば、通信媒体を介してディスプレイを有する情報処理装置に出力され、ディスプレイに表示される。
【0014】
図2は、本実施形態に係るカメラモジュール1が備えるハードウェア構成の一構成例を示した図である。図2に示すように、画像処理部10は、例えば、NPU(Neural Network Processing Unit)11、主記憶装置(Main Memory)12、二次記憶装置(Secondary storage:メモリ)13、通信インターフェース14などを備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。
【0015】
NPU11は、例えば、バスを介して接続された二次記憶装置13に格納された各種プログラム(例えば、画像処理プログラム)を主記憶装置12に読み出して、情報の加工・演算処理を実行することにより、後述の各種機能を実現させる。
主記憶装置12は、例えば、キャッシュメモリ、RAM(Random Access Memory)等の書き込み可能なメモリで構成され、NPU11の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。
【0016】
二次記憶装置13は、非一時的なコンピュータ読み取り可能な記録媒体(non-transitory computer readable storage medium)である。二次記憶装置13の一例として、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等が挙げられる。二次記憶装置13の一例として、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)フラッシュメモリなどが挙げられる。二次記憶装置13には、例えば、後述する機能を実現するための各種プログラム(ファームウェア)や各種処理を実現するために必要とされる各種データが格納されている。二次記憶装置13は、複数設けられていてもよく、各二次記憶装置13に上述したようなプログラムやデータが分割されて格納されていてもよい。
各種プログラム(例えば、ファームウェア)等は、製造時において二次記憶装置13に予めインストールされている形態や、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。
【0017】
通信インターフェース14は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。例えば、通信インターフェース14は、有線又は無線により他の装置と通信を行う。無線通信として、Bluetooth(登録商標)、Wi-Fi、移動通信システム(3G、4G、5G、6G、LTE等)、無線LANなどの回線を通じた通信が挙げられる。有線通信の一例として、有線LAN(Local Area Network)などの回線を通じた通信が挙げられる。
【0018】
図3は、本実施形態に係るカメラモジュール1が備える画像処理機能の一例を示した機能構成図である。図3に示すように、画像処理部10は、顔検出部21と、関心領域設定部22と、パラメータ設定部23と、フレーミング部24とを備えている。
顔検出部21は、カメラ2によって取得された画像内に含まれる顔を検出する。例えば、顔検出部21は、画像に含まれる顔の特徴点を抽出し、抽出した特徴点を用いて顔を検出する。なお、顔検出については数々の公知の技術が提案されていることから、これら公知の技術を適宜採用すればよい。
【0019】
関心領域設定部22は、顔検出部21によって検出された顔の特徴点に基づいて関心領域(ROI:Region of Interest)を設定する。
パラメータ設定部23は、検出された顔の数、すなわち、画像に含まれる人数に応じてフレーミングの反応パラメータを設定する。例えば、パラメータ設定部23は、画像に含まれる顔の数と、フレーミングの反応パラメータとが関連付けられて登録されたパラメータ情報を有しており、画像に含まれる顔の数に対応する反応パラメータをパラメータ情報から取得して設定する。
【0020】
図4に、パラメータ情報の一例を示す。パラメータ情報には、顔の数が1以上3未満に対応する反応パラメータとして第1パラメータ「3」が、顔の数が3以上6未満に対応する反応パラメータとして第2パラメータ「2」が、顔の数が6以上に対応する反応パラメータとして第3パラメータ「1」が設定されている。パラメータの値が小さいほど、フレーミングの反応が遅くなる。ここで、図4に例示したパラメータ情報では、顔の数を3つのレベルに分け、それぞれのレベルに対応する反応パラメータを設定しているが、顔の数のレベル分けは、この例に限られない。例えば、2つに分けてもよいし、3つ以上のレベルに分けてもよい。
【0021】
反応パラメータの一例として、フレーミングの感度に関する感度パラメータが挙げられる。感度パラメータは、例えば、フレーミングを実行する実行条件を満たしたときからフレーミングを実行するまでのレスポンスタイムに関するパラメータであり、感度パラメータの値が小さいほど、レスポンスタイムが長くなる。本実施形態では、顔の数が増加すると、感度パラメータの値が小さくなるように設定されている。
【0022】
また、反応パラメータの一例として、フレーミングの速度に関する速度パラメータが挙げられる。速度パラメータは、フレーミングの実行速度であり、速度パラメータの値が小さいほど、フレームの上下左右の移動及び奥行き方向の移動(ズーミング)の速度が遅くなる。本実施形態では、顔の数が増加すると、速度パラメータの値が小さくなるように設定されている。
【0023】
また、反応パラメータは、図5に示すように、感度パラメータと速度パラメータとの組み合わせで構成されていてもよい。また、速度パラメータを変更する顔の数の閾値と、感度パラメータを変更する顔の数の閾値とは異なっていてもよい。例えば、図5に例示したパラメータ情報では、共通の閾値として顔の数「3」、「6」を設定しているが、これに限られない。例えば、感度パラメータについては、閾値として顔の数「3」、「6」を設定し、速度パラメータについては、閾値として顔の数「2」、「4」、「6」を設定することとしてもよい。
【0024】
フレーミング部24は、設定された反応パラメータを用いてカメラ2によって取得された画像のフレーミングを行う。具体的には、設定された反応パラメータを用いて画像の上下・左右・奥行方向の位置調整を行う。換言すると、フレーミングは、上下左右の位置調整及びズーム調整を含む画像処理である。
例えば、フレーミング部24は、図6に示すように、基準フレームFreを有している。そして、関心領域ROIの一部が基準フレームFreを超えた場合に、フレーミング条件を満たしたと判定し、フレーミングを行う。また、その後、関心領域ROIの全域が基準フレームFreに包含された場合に、フレーミング条件を満たしたと判定し、フレーミングを行う。
【0025】
また、図7に示すように、画像に複数の顔が含まれていることにより、画像に複数の関心領域ROI_1~ROI_3が設定されている場合には、いずれかの関心領域ROI_1~ROI_3の一部が基準フレームFreを超えた場合に、フレーミング条件を満たしたと判定し、フレーミングを行う。また、その関心領域ROIの全域が基準フレームFreに包含された場合に、フレーミング条件を満たしたと判定し、フレーミングを行う。
なお、フレーミングの処理自体は、公知の技術であるので、上記手法に限られず、公知の他の手法を適宜採用することとしてもよい。
【0026】
次に、カメラモジュール1によって実行される画像処理方法について図8を参照して説明する。図8は、本実施形態に係る画像処理方法の処理手順の一例を示したフローチャートである。例えば、以下の処理は、所定の時間間隔、又は、カメラ2から入力される所定の画像フレーム数毎に繰り返し実行される。
【0027】
図8に示すように、まず、カメラ2から画像データを取得すると(SA1)、画像に含まれる顔を検出し(SA2)、更に、検出した顔の特徴点に基づいて関心領域を設定する(SA3)。続いて、検出した顔の数に対応する反応パラメータをパラメータ情報から取得する(SA4)。続いて、取得した反応パラメータが現在設定されている反応パラメータと同一か判定し(SA5)、同一の場合には(SA5:YES)、当該処理を終了する。一方、取得した反応パラメータが現在設定されている反応パラメータと異なる場合には(SA5:NO)、フレーミングに用いる反応パラメータを更新し(SA6)、処理を終了する。
【0028】
以上説明してきたように、本実施形態に係るカメラモジュール(情報処理システム)1、画像処理方法、及び画像処理プログラムによれば、画像に含まれる顔の数に応じてフレーミングの反応パラメータを設定し、設定した反応パラメータを用いて画像のフレーミングを行うので、顔の数に応じて適切な反応パラメータを設定することが可能となる。
具体的には、画像に含まれる顔の数が増加すると、フレーミングの反応が遅くなるように、反応パラメータが設定されるので、画像に含まれる顔の数が多いほどフレーミングの反応を鈍化させることが可能となる。これにより、従来問題となっていた画像の揺れを軽減させることが可能となり、ユーザエクスペリエンスを向上させることが可能となる。
【0029】
〔第2実施形態〕
次に、本開示の第2実施形態に係る情報処理システム及び画像処理方法並びに画像処理プログラムについて説明する。本実施形態に係るカメラモジュール(情報処理システム)は、図9に示すように、画像処理部10aが判定部25を更に備える点、判定部25の判定結果に応じてパラメータ設定部23が反応パラメータを設定する点が上述した第1実施形態と異なる。
以下、第1実施形態と共通する構成については同一の符号を付して説明を省略し、異なる点について主に説明する。
【0030】
図9は、本実施形態に係るカメラモジュールが備える画像処理機能の一例を示した機能構成図である。図9に示すように、本実施形態に係る画像処理部10aは、第1実施形態に係る画像処理部10に対して顔検出部21によって検出された顔の数が増加したか否かを判定する判定部25を更に備えている。
パラメータ設定部23は、判定部25によって顔の数が増加したと判定された場合に、顔の数が増加するまでの期間、換言すると、同じ顔の数が維持されていた期間が所定の期間以上であったか否かを判定する。そして、顔の数が増加するまでの期間が所定の期間以上であった場合に、フレーミングを最も遅くする反応パラメータを設定する。
【0031】
例えば、会議が始まってから所定期間以上経過した後に、参加者が遅れて会議に出席した場合、遅れてきた参加者の動きに応じてフレーミングが行われてしまうと、会議の妨げになりかねず、好ましくない。
【0032】
そこで、本実施形態では、画像に含まれる顔の数が増加したと判定され、更に、顔の数が増加するまでの期間が所定の期間以上である場合に、フレーミングを最も遅くする反応パラメータが設定することとしている。これにより、会議に遅れて出席する人がいる場合に、その人の動きに応じたフレーミングの影響を低減させることが可能となる。
【0033】
また、上記態様に代えて、顔の数が変化するまでの期間が所定の期間以上であった場合には、フレーミング部24がフレーミングを所定期間停止することとしてもよい。本態様によれば、フレーミング自体を所定期間停止させるので、会議に遅れて出席する人がいる場合に、その人の動きに応じたフレーミングの影響を更に低減させることが可能となる。
【0034】
〔第3実施形態〕
次に、本開示の第3実施形態に係る情報処理システム、画像処理方法、及び画像処理プログラムについて説明する。本実施形態に係るカメラモジュール(情報処理システム)は、フレーミング部24bによるフレーミング手法が上述した第1実施形態と異なる。
以下、第1実施形態と共通する構成については同一の符号を付して説明を省略し、異なる点について主に説明する。
【0035】
図10は、本開示の第3実施形態に係るカメラモジュールが備える画像処理機能の一例を示した機能構成図である。本実施形態に係る画像処理部10bは、フレーム設定部26を更に備えている。フレーム設定部26は、例えば、拡大フレームFlaと縮小フレームFsmとの組み合わせからなる複数のフレームセットを有している。
【0036】
拡大フレームFlaは、第1実施形態で説明した基準フレームFreを包含するとともに基準フレームFreよりも大きいサイズのフレームである。また、縮小フレームFsmは、基準フレームFreと同一、又は、基準フレームFreに包含されるとともに基準フレームFreよりも小さいサイズのフレームである。そして、フレーム設定部26は、画像に含まれる顔の数に応じて、フレームセットを設定する。
【0037】
例えば、図11には、画像に1つの顔が含まれる場合のフレームセットの一例が示されている。図11に示すように、画像に1つの顔が含まれる場合には、縮小フレームFsmは、基準フレームFreと同一のフレームとされている。また、拡大フレームFlaは、例えば、基準フレームFreの縦の長さを+15%、横の長さを+10%拡大したサイズとされている。
【0038】
また、図12には、画像に複数の顔が含まれる場合のフレームセットの一例が示されている。図12に示すように、画像に複数の顔が含まれる場合には、縮小フレームFsmは、基準フレームFreよりもサイズの小さなフレームとされている。例えば、縮小フレームFsmは、基準フレームFreの縦の長さを-5%、横の長さを-10%縮小したサイズとされている。また、拡大フレームFlaは、例えば、画像に1つの顔が含まれる場合と比べて小さいサイズとされている。一例として、拡大フレームFlaは、基準フレームFreの縦の長さを+10%、横の長さを+5%拡大したサイズとされている。
【0039】
このように、画像に1つの顔が含まれる場合の拡大フレームFlaを画像に複数の顔が含まれる場合の拡大フレームFlaよりも大きく設定している。これは、例えば、画像に1つの顔が含まれている場合は、複数の顔が含まれる場合に比べて大きくズームしていることから、拡大フレームFlaを適切なサイズに設定しないと、被写体の少しの動きに対して敏感にフレーミングが行われてしまい、フレーミングが頻繁に繰り返されるおそれがあるからである。
本実施形態によれば、画像に1つの顔が含まれる場合の拡大フレームFlaを画像に複数の顔が含まれる場合の拡大フレームFlaよりも大きく設定しているので、フレーミングの頻繁な繰り返しを抑制することができ、画像の揺れを低減することができる。
【0040】
フレーミング部24は、画像に設定されたいずれかの関心領域の一部が、フレーム設定部26によって設定された拡大フレームFlaを超えた場合、又は、いずれかの関心領域ROIの全域がフレーム設定部26によって設定された縮小フレームFsmに包含された場合に、フレーミング条件を満たしたと判定し、フレーミングを行う。
【0041】
このような構成によれば、複数のフレームセットの中から画像に含まれる顔の数に応じたフレームセットがフレーム設定部26によって設定される。そして、設定されたフレームセット、すなわち、拡大フレームFla及び縮小フレームFsmに基づいてフレーミングが実行される。このように、フレーミングに用いるフレームにヒステリシスを持たせているので、フレーミングを実行する頻度を低減させることができる。
また、フレーミング実行時には、上述した第1実施形態で説明したように、画像に含まれる顔の数に応じた反応パラメータに基づくフレーミングが実行されるので、画像に含まれる顔の数が多いほどフレーミングの反応を鈍化させることが可能となる。
以上より、従来問題となっていた画像の揺れを効果的に軽減させることが可能となる。
【0042】
以上、本開示について実施形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。開示の要旨を逸脱しない範囲で上記実施形態に多様な設定又は改良を加えることができ、該設定又は改良を加えた形態も本開示の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した処理の流れも一例であり、本開示の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0043】
なお、上述した実施形態では、カメラモジュール1が画像処理部10を備え、カメラモジュール1が情報処理システムとして機能する場合を例示して説明したがこれに限られない。例えば、画像処理部10は、カメラ2に接続される情報処理装置(図示略)に備えられていてもよく、カメラ2と情報処理装置によって情報処理システムが実現されてもよい。この場合、カメラ2は、情報処理装置に一体的に設けられていてもよいし、外部機器として情報処理装置に電気的に接続される態様で提供されてもよい。情報処理装置の一例として、ノートPC、デスクトップ型PC、タブレット端末、スマートフォン等が挙げられる。
【符号の説明】
【0044】
1 :カメラモジュール
2 :カメラ
3 :筐体
10 :画像処理部
10a :画像処理部
10b :画像処理部
12 :主記憶装置
13 :二次記憶装置
14 :通信インターフェース
21 :顔検出部
22 :関心領域設定部
23 :パラメータ設定部
24 :フレーミング部
24b :フレーミング部
25 :判定部
26 :フレーム設定部
Fla :拡大フレーム
Fre :基準フレーム
Fsm :縮小フレーム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12