特許 7022027 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-08

(45)【発行日】2022-02-17

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220209BHJP

【ＦＩ】

H04N5/235 700

【請求項の数】 6

(21)【出願番号】P 2018142262

(22)【出願日】2018-07-30

(65)【公開番号】P2020021983

(43)【公開日】2020-02-06

【審査請求日】2020-06-08

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１２－１７８６８５（ＪＰ，Ａ）

【文献】特開２００９－１３５７９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

所定の撮像周波数で撮像を行い、映像として各時刻の撮像画像を得る撮像部と、
各時刻における撮像画像を加工した加工画像として、当該時刻から所定間隔にある所定複数の当該時刻又は過去時刻における撮像画像を平均したものを得る加工部と、を備える情報処理装置であって、
前記所定間隔は、前記所定の撮像周波数と、前記撮像が行われている環境における光源の光量の周波数と、に応じたものであり、
前記所定間隔は、前記撮像が行われている環境における光源の光量の周波数での所定の光量変動関数上から、前記所定の撮像周波数を単位間隔として前記所定複数の点を選択して算出する平均値の変動が所定基準を満たすものであり、
前記所定基準は、前記変動を最小化することであり、
前記撮像が行われている環境における光源の光量の周波数には複数候補が存在し、
前記所定の撮像周波数は、前記変動を最小化するものとしての前記所定間隔が、前記複数候補の各々において共通となるものとして与えられていることを特徴とする情報処理装置。

【請求項2】

所定の撮像周波数で撮像を行い、映像として各時刻の撮像画像を得る撮像部と、
各時刻における撮像画像を加工した加工画像として、当該時刻から所定間隔にある所定複数の当該時刻又は過去時刻における撮像画像を平均したものを得る加工部と、を備える情報処理装置であって、
前記所定間隔は、前記所定の撮像周波数と、前記撮像が行われている環境における光源の光量の周波数と、に応じたものであり、
前記所定間隔は、前記撮像が行われている環境における光源の光量の周波数での所定の光量変動関数上から、前記所定の撮像周波数を単位間隔として前記所定複数の点を選択して算出する平均値の変動が所定基準を満たすものであり、
前記変動が分散として評価されるものであることを特徴とする情報処理装置。

【請求項3】

所定の撮像周波数で撮像を行い、映像として各時刻の撮像画像を得る撮像部と、
各時刻における撮像画像を加工した加工画像として、当該時刻から所定間隔にある所定複数の当該時刻又は過去時刻における撮像画像を平均したものを得る加工部と、を備える情報処理装置であって、
前記所定間隔は、前記所定の撮像周波数と、前記撮像が行われている環境における光源の光量の周波数と、に応じたものであり、
前記加工部では、前記平均するための撮像画像の中に参照不可能なものがある場合には、前記所定間隔を過去の側へとシフトしたうえで参照可能な撮像画像を平均して、前記加工画像を得ることを特徴とする情報処理装置。

【請求項4】

所定の撮像周波数で撮像を行い、映像として各時刻の撮像画像を得る撮像部と、
各時刻における撮像画像を加工した加工画像として、当該時刻から所定間隔にある所定複数の当該時刻又は過去時刻における撮像画像を平均したものを得る加工部と、を備える情報処理装置であって、
前記所定間隔は、前記所定の撮像周波数と、前記撮像が行われている環境における光源の光量の周波数と、に応じたものであり、
前記所定の撮像周波数よりも低い表示周波数において前記加工画像を表示する表示部をさらに備えることを特徴とする情報処理装置。

【請求項5】

前記加工部では、各時刻における撮像画像を加工した加工画像として、当該時刻の撮像画像と、当該時刻からの所定間隔にある１つの過去時刻の撮像画像と、の２つを平均したものを得ることを特徴とする請求項１ないし４のいずれかに記載の情報処理装置。

【請求項6】

コンピュータを請求項１ないし５のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ちらつきを高速に且つ簡素な構成によって抑制することができる情報処理装置及びプログラムに関する。

【背景技術】

【0002】

撮像画像（映像）において、意図しないちらつき（フリッカー）が発生してしまうという問題がある。すなわち、撮像系の更新タイミングが高速な場合や露光時間が短い場合などにおいて、電源の周波数によって光量が変動する光源下で撮像すると、撮像画像がちらつくという問題がある。

【0003】

撮像画像のちらつきを低減する手法としては例えば、特許文献２ないし４がある。特許文献２では、撮像画像から光源成分を分離することで撮像画像を補正する。特許文献３では、撮像系の更新タイミングと電源の周波数とが一定間隔で周期することを利用し、撮像系の更新タイミングごとに積算した輝度レベルが一定値になるように次周期以降の露光時間を調整する。特許文献４では、特許文献３と同様に撮像系の更新タイミングと電源の周波数とが一定間隔で周期することを利用し、撮像系の更新タイミングごとに積算した輝度レベルが一定値になるように次周期以降の撮像画像に補正係数を適用する。

【先行技術文献】

【特許文献】

【0004】

【文献】特願2018-019335号

【文献】特開2018-032971号公報

【文献】特開2010-200133号公報

【文献】特開2013-187603号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、以上のような従来技術には、撮像画像におけるちらつきを高速に且つ簡素な構成によって抑制することに関して、次のような課題があった。

【0006】

特許文献２は、光源成分の分離に高速フーリエ変換を用いるため、計算資源に乏しい端末では処理時間がかかるという課題がある。特に、表示系の更新タイミングが高速であるほど、処理が間に合わないという課題がある。特許文献３では、積算値に応じて露光時間を変更するため上記の課題は解決する。しかし、撮像系の更新タイミング毎に露光時間を数ミリ秒単位で変更できるだけの機構が必要となり装置規模を小さくできないという課題がある。

【0007】

特許文献４では、撮像済み画像に補正係数を適用するため上記の課題は解決する。しかしながら特許文献４（及び特許文献３）は、その前提としている事項によって、次の４つの問題も抱える。

【0008】

１つ目の問題として、積算値を求める時間間隔を撮像系の更新タイミングと光量の周波数（電源の周波数の2倍）との最小公倍数から導出するため、互いに素な組み合わせによっては最小公倍数が大きくなり積算値を記憶しておくためのメモリ量が膨大になるという問題がある。

【0009】

2つ目の問題として、露光時間は撮像系の更新タイミング間隔としているが、実際には露光時間が撮像系の更新タイミングより短いため、最小公倍数では積算値を求めるべき時間間隔を正確には導出できていないという問題がある。例えば、光量の周波数が100Hz、撮像系の更新タイミングが1/200秒の場合、最小公倍数は200、積算間隔は1/200秒となってしまうので、撮像の更新タイミングと一致し積算値は1種類しか得られない。即ち、特許文献３では露光時間調整が行われず、特許文献４では補正係数が１となり、撮像画像そのままで問題ないことになるが、前述の理由により実際に実行すると多くの端末ではちらつきが発生する。

【0010】

３つ目の問題として、撮像系の更新タイミングおよび電源の周波数が完全に正確であることを前提としているが、実際には前提が成り立たないことが多いという問題がある。例えば、東日本（東京電力管内）での一般的な商用電源の周波数は50Hzであるが±0.2Hzの誤差（その他に例えば北海道電力管内では±0.3Hz）は発生しうるものとして、一定の精度内において電源周波数は管理されており、当該前提が成り立たないことがある。また、端末によっては過負荷による処理落ちやフレームドロップが発生し、更新タイミングが変化するだけでなく撮像画像そのものが存在しないタイミングも発生しうる。特に、1つ目の問題で挙げた最小公倍数が大きく、積算値を反映する画像が時間的に離れるほど、当該前提が崩れやすく両手法が破綻してしまうという課題がある。

【0011】

４つ目の問題として、積算値は光源の変動のみが反映されるという前提に立っているが、特許文献１のように撮像部や被写体が大きく移動すると光源以外の明暗の変化が積算値に反映されるため、光源のちらつきを低減できないどころか増幅してしまう恐れがあるという問題がある。

【0012】

以上のような従来技術の課題に鑑み、本発明は、ちらつきを高速に且つ簡素な構成によって抑制することができる情報処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するため、本発明は、所定の撮像周波数で撮像を行い、映像として各時刻の撮像画像を得る撮像部と、各時刻における撮像画像を加工した加工画像として、当該時刻から所定間隔にある所定複数の当該時刻又は過去時刻における撮像画像を平均したものを得る加工部と、を備える情報処理装置であって、前記所定間隔は、前記所定の撮像周波数と、前記撮像が行われている環境における光源の光量の周波数と、に応じたものであることを特徴とする。また、コンピュータを前記情報処理装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0014】

本発明によれば、平均するという簡素且つ高速に計算可能な処理によって得られる加工画像において、ちらつきを抑制することが可能である。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る情報処理装置の機能ブロック図である。

【図2】ちらつきの発生の模式例を示す図である。

【図3】電源周波数50Hz及び撮像周波数240Hzでの各組み合わせにおける離散値分布をプロットしたものである。

【図4】電源周波数50Hz及び撮像周波数220Hzでの各組み合わせにおける離散値分布をプロットしたものである。

【図5】本発明によるちらつき低減の効果を、比較例と共に模式的に示す図である。

【発明を実施するための形態】

【0016】

図１は、一実施形態に係る情報処理装置の機能ブロック図である。情報処理装置10は、撮像部1、選択部2、加工部3及び表示部4を備える。各部による処理内容は以下の通りである。

【0017】

撮像部1は、時刻t(i)に撮像して得られる撮像画像I(t(i))を選択部2へ出力する。ここで、撮像部1では所定の撮像フレームレート（撮像周波数、又はその逆数としての撮像周期）において映像として撮像を行い、整数インデクスiで指定される各時刻t(i)に関しての撮像画像I(t(i))を得る。撮像部1を実現するハードウェアとしては、昨今の携帯端末に標準装備されることの多いデジタルカメラ等を用いることができる。

【0018】

選択部2は、撮像部1で撮像された時系列上の撮像画像I(t(i))の中から、撮像部1における撮像の更新タイミングと電源の周波数とに応じた選択処理を、後段側の表示部4による表示タイミングごとに行い、選択結果を加工部3へと出力する。ここで、当該選択処理に関しての電源の周波数とは、撮像部1が撮像を行っている環境における光源の電源の周波数（例えば、室内で撮像を行っている際の、当該室内の光源としての蛍光灯やLED等の電源の周波数）である。選択部2の処理の詳細に関しては後述する。

【0019】

加工部3では、選択部2で選択された複数の撮像画像I(t(i))を平均したものとして加工画像を得て、当該加工画像を表示部4へと出力する。表示部4では当該得られた加工画像を所定の表示タイミングごとに表示することで、所定のフレームレートでの映像を表示する。

【0020】

ここで、表示部4による表示フレームレート（表示周波数）は、実施形態に応じて、撮像部1による撮像フレームレートと一致するものとして設定しておくこともでき、また、撮像部1による撮像フレームレート（高フレームレート）よりも小さいもの（低フレームレート）として設定しておくこともできる。いずれの実施形態においても、仮に本発明を適用しなかったとする場合に発生することが想定されるちらつきを、本発明によって低減することが可能となる。すなわち、仮に本発明を適用せずに情報処理装置10から選択部2及び加工部3が省略された構成において、撮像部1で得た各時刻の撮像画像I(t(i))をそのままの高フレームレートで、または一定間隔で間引いた低フレームレートで、表示部4に表示させたとする場合にはちらつきが発生してしまう事態が想定されるのに対し、本発明の適用によって当該ちらつきを低減することが可能となる。

【0021】

また、本発明においては特に、加工部3において複数の撮像画像I(t(i))を平均する（すなわち、複数の撮像画像で互いに同じ画素位置(u,v)にある画素値を平均する）という極めて簡素な処理により、ちらつき低減された加工画像を得ることができる。従って、情報処理装置10で利用可能な計算リソース等が限られたものである場合であっても、高速にちらつき低減の処理を行うことが可能となる。

【0022】

以下、選択部2による選択処理の詳細を、選択部2により当該選択された撮像画像に対する加工部3による加工処理によってちらつき低減されたものとして得られる加工画像の意義と共に説明する。

【0023】

まず、ちらつき発生の原因から説明する。電源の周波数をf_p、振幅をV、時刻をtとすると、交流電源の電圧をVsin(2πf_pt)として表すことができる。このとき電源の周波数f_pによって光量が変動する光源は、電圧絶対値|sin(2πf_pt)|に比例して光量が変動する。（従って、サイン関数の絶対値として変動することから、光量変動の周波数は電源周波数f_pの倍である2f_pとなる。）撮像部1は当該変動する光源のもとで撮像を行っているものとし、撮像部1によって撮像される周波数をf_cとしたとき、露光時間が短い場合、電源周波数f_pと撮像周波数f_cとが一致していないとちらつきが発生することとなる。

【0024】

図２は、当該ちらつきが発生する模式例を示す図である。図２では、横軸を時間、縦軸を電圧（及びこれに比例する光量）として、実線で電圧絶対値|sin(2πf_pt)|の連続的なグラフを示すと共に、当該グラフ上において一連の離散的な「●」（黒丸）により、撮像周波数f_cにおいて撮像された時系列上の撮像画像における光量変動（すなわち輝度値変動）の離散的なグラフを示している。なお、当該輝度値変動は、1枚の撮像画像における画素範囲全体での平均値としての変動であり、これは以下の各説明においても同様である。

【0025】

図２では具体的な数値例として、撮像の更新タイミングとしての撮像周波数f_c=240Hz（従って、図示する通り撮像周期=1/240秒）であり、また、電源周波数f_p=50Hzである場合を示している。撮像の更新タイミングにより光源の明るさが変化しているため、表示部4において映像として表示するタイミング（図２では1/30秒）の直近で撮像された撮像画像をそのまま表示すると、図２の縦線箇所（表示タイミング1/30秒ごとに示される0秒、1/30秒、2/30秒、3/30秒の縦線箇所）の直近のもの（図２では当該縦線上に一致しているもの）が表示されることとなり、明暗が大きく変動し映像として再生した場合ちらついて見える。具体的には、t=0秒及びt=3/30秒では光源の明るさが最小になっているが、t=1/30秒及びt=2/30秒では光源の明るさが最大に近いため、表示部4においてこれらを順に映像として表示すると、表示される映像としての撮像画像が明滅することになる。

【0026】

上記の例では高フレームレートとしての撮像周波数f_c=240Hzに対して低フレームレートでの表示周波数（f_vとする）f_v=30Hzによる表示を表示部4において行った際に、ちらつきすなわち明滅が発生したが、図２のグラフから見て取れる通り、表示周波数f_vを撮像周波数f_c=240Hzと一致させる高フレームレートの設定で表示部4が表示を行う場合にも全く同様に、（図２の●の値の変動として見て取れる通り、）明滅が発生することとなる。

【0027】

図２の模式例のように、電源周波数f_pでの変動電圧|sin(2πf_pt)|上から撮像周波数f_cに応じてサンプルされる（すなわち撮像される）撮像画像は一般に明滅を伴うものとなる。そこで、選択部2では撮像周波数f_cに応じてサンプルされる撮像画像から、所定の複数を選択して平均することによって当該明滅が低減されるように、選択処理を行う。

【0028】

一般的に適用可能な実施形態として、選択部2において所定複数n枚の撮像画像を後段側での加工部3による平均化のための対象として選択する場合を説明する。この場合、変動光源による明るさの影響を受けることで、各時刻tにおいて選択したn枚平均画像の輝度は次式(1)で表される。（すなわち、当該n枚を選択したとする場合、加工部3では次式(1)のような輝度の加工画像を得ることとなる。）

【0029】

【数1】

【0030】

上式(1)において、h_j(0≦j＜n)は非負整数をとり、現時刻tにおいて選択可能であるものとして選択したn枚の撮像画像I(t-h_j/f_c)の各々を表すためのものである。（すなわち、現在時刻tが撮像部1によるk番目の撮像時刻t(k)であれば、画像I(t-h_j/f_c)は画像I(t(k-h_j))とも表記できる。h_jは撮像部1で撮像している現在時刻の画像からh_j枚だけ過去の画像を選ぶことを意味するものである。h_j=0の場合は現在時刻の画像である。）上式(1)を時刻tの連続関数としてf(t,{h})（ここで、{h}は選択されたh_j(0≦j＜n)の集合を表すものとし、すなわち{h}={h_j |0≦j＜n}であるものとし、以下も同様とする）としたとき、撮像開始タイミングと光源の明るさ周期との対応が不明であること及び電源周波数が幾分かの誤差範囲内において変動する恐れがあることを考慮すると、時刻tの連続関数としてのf(t,{h})が可能な限り一定値を保って変動しないような挙動を示すような{h}（時刻tに依存しない一定のもの）を、選択部2において選択するようにすることが望まれる。

【0031】

ここで、実際上は必ずしも時刻tの連続関数f(t,{h})の変動挙動を各選択{h}に関して評価する必要はない。すなわち、実際上は、撮像の更新タイミングでのみ離散的に一定（可能な限り変動が少なく一定）であれば十分であるため、離散的にその変動挙動を評価すればよい。具体的には、当該離散的な撮像部1による「周期的な複数の撮像の更新タイミング」において「光源の明るさの平均」（当該平均は、加工部3で得られることとなる加工画像の輝度と一致する）の「分散」が最小となるようなh_jの組み合わせ{h}を選択部2において決定し、選択結果とすればよい。式で表現すれば、以下の式(2)のように（最小となる場合を見つけ出す対象としてargminの引数とされているところの）「分散」を最小化する選択結果としての組み合わせ{h_j}を決定すればよい。なお、Lは撮像周波数f_cと電源周波数f_pの2倍の周波数2f_pとの最小公倍数であり、当該「分散」を評価するための「周期的な複数の撮像の更新タイミング」の範囲を定めるためのものである。（前述の通り、絶対値での変動電圧|sin(2πf_pt)|の周波数が当該2倍の周波数2f_pである。）

【0032】

【数2】

【0033】

なお、両周波数f_c,2f_pが整数でない場合（小数点以下を伴う場合）は、整数へと丸めたround(f_c),round(2f_p)の最小公倍数としてLを求めればよい。（ここでround()は丸め処理の関数とする。）式(2),(3)においては分散を評価するために周期性が現れる単位となる範囲として0≦k<L/2f_p-1の範囲を用いているが、これよりも狭い範囲で分散を評価するようにしてもよい。

【0034】

以上、一般的に適用可能な実施形態として、選択部2では上記の式(2)の分散を最小化するものとして、組み合わせ{h}を決定することができる。すなわち、以下の（手順１）～(手順３)のようにして選択部2では固定的な組み合わせ{h}を決定することができる。
（手順１）撮像部1のカメラに関する既知の情報として撮像周波数f_cと、撮像部1が撮像する環境における予め既知の情報として電源周波数f_pと、を予め取得しておく。
（手順２）選択部2で選択し加工部3で平均化するための画像枚数nを所定のものとして、管理者等が設定しておく。
（手順３）以上のf_c,f_p,nに応じて定まる所定の組み合わせとして、選択部2において式(2)の分散を最小化する組み合わせ{h}を得る。

【0035】

なお、（手順３）において組み合わせ{h}を構成している非負整数としての各h_j(0≦j<n)は、所定範囲で求めればよく、例えば、前述の式(2),(3)で分散評価をするための最小公倍数Lに基づく範囲において求めるようにしてよい。すなわち、0≦h_j≦L/2f_p-1の範囲内において各h_jを求めるようにすればよい。なお、当該Lに基づく範囲が広大となる場合は、後述する遅延低減等の観点から、また、探索空間が膨大とならないようにする観点から、より小さい所定範囲内において各h_jを求めるようにしてもよい。

【0036】

また、（手順３）で分散を最小化する組み合わせ{h}が複数ある場合又は分散の最小値から閾値範囲内の分散値となる組み合わせ{h}が複数ある場合（すなわち、分散の最小値から僅差にあるものが１つ以上ある場合）、後述する遅延低減等の観点から、{h}を構成する各h_jの値が小さいものを採用するようにしてもよい。例えば、各h_jの値の和が小さいものを採用してもよいし、各h_jの値のうちの最大値が小さいものを採用してもよい。また、（手順３）では、組み合わせ{h}のうちの１つは必ず0とする（例えば、h₀=0とする）という制約、すなわち、現時刻の撮像画像を必ず組み合わせ{h}に含めるという制約を課すようにしてもよい。

【0037】

また、式(2),(3)では分散によって離散値の変動の大きさを評価しているが、分散に代えてその他の任意の統計指標などによって当該変動の大きさを評価するようにしてもよい。例えば、最大値と最小値との差としての範囲（レンジ）によって評価するようにしてもよい。

【0038】

以下、（手順１）～（手順３）による当該一般的な実施形態を実際の状況に適用する際に具体的に考慮しておくことが望ましい事項や、具体的な適用例などに関して説明する。

【0039】

処理負荷低減の観点から枚数nは少なく設定する方が望ましく、表示部4において映像として表示される撮像画像の遅延低減の観点及びフレームを保持するためのメモリ量を少なくする観点から、組み合わせ{h}を構成する非負整数としての各h_jは小さくする方が望ましい。一実施形態では、枚数n=2として設定してよい。これと組み合わせ可能な一実施形態として、h_jの一つとして必ず0を含めるという前述の制約（現時刻t（または、表示タイミングと撮像タイミングがずれる等で異なっている場合は、現時刻tの直近時刻）の画像を必ず選択するという制約）のもとで、（手順３）の組み合わせ{h}を決定するようにしてよい。

【0040】

当該n=2とし、且つ、h_jの一つとして必ず0を含めるという制約のもとでの組み合わせ{h}を得る数値例１，２を以下に紹介する。ここで、n=2であるため、{h}={h₀,h₁}であり、一般性を失わずにh₀=0であるものとしてよい。従って、当該数値例は、与えられたf_c,f_pに対して、{h}={0,h₁}のうち未決定のh₁を決定するものとなる。

【0041】

＜数値例１＞
電源周波数f_p=50Hz、撮像周波数f_c=240Hzとして与える。この場合、最小公倍数L=1200Hzであり、前述の範囲0≦h₁≦L/2f_p-1は範囲0≦h₁≦11となり、既にh₀=0は選択済みであるから除外されることで範囲1≦h₁≦11となる。当該範囲内において、h₁=6が式(2)の分散を最小化するものとなる。

【0042】

図３は、[1]～[11]と分けて、h₁＝1～11のそれぞれの場合に関する、式(2)で分散が評価される離散値の分布をプロットしたものである。図３の[1]～[11]の各々では、図２の例と同様に、実線で電圧絶対値|sin(2πf_pt)|の連続的なグラフを示すと共に、当該グラフ上において一連の離散的な「●」（黒丸）により、撮像周波数f_c=240Hzにおいて撮像された時系列上の撮像画像における光量変動（すなわち輝度値変動）の離散的なグラフが描かれたうえでさらに、一連の離散的な「◇」（四角）により、h₁＝1～11のそれぞれの場合の離散値分布（式(1)による平均値の時間変動の分布）が示されている。なお、図３では参考として、式(1)を時刻の連続関数とした場合の分布も、破線によって示されており、「◇」による離散値の分布が当該破線による連続値の分布と概ね一致すること（離散値以外の箇所で連続値分布が顕著に乖離することがないこと）を見て取ることができる。

【0043】

図３では[6]に示すように、h₁=6が、すなわち、{h}={0,6}として現時刻t（又はその直近時刻）の画像と、撮像タイミング6回分だけ離れた過去画像と、を平均する場合が、式(2)の分散を最小化するものとなっていることを、「◇」の上下方向における変動幅が最も少なくなっているものとして、見て取ることができる。

【0044】

＜数値例２＞
電源周波数f_p=50Hz、撮像周波数f_c=220Hzとして、数値例１の場合から撮像周波数f_cのみ変更して与える。この場合、最小公倍数L=1100Hzであり、前述の範囲0≦h₁≦L/2f_p-1は範囲0≦h₁≦10となり、既にh₀=0は選択済みであるから除外されることで範囲1≦h₁≦10となる。当該範囲内において、h₁=1又はh₁=10が、すなわち、{h}={0,1}又は{0,10}として現時刻t（又はその直近時刻）の画像と、撮像タイミング1回分又は10回分の過去画像（直前時刻の画像）と、を平均する場合が、式(2)の分散を最小化するものとなる。（ここで、{h}={0,1}と{0,10}とで分散の値に相違があったとしても誤差範囲内と判定できるものであり、両者は等しい最小値を与えるものと判定できる。）そして、遅延低減等の観点から値が小さい方の{h}={0,1}を採用することができる。

【0045】

図４は、[1]～[10]と分けて、h₁＝1～10のそれぞれの場合に関する、式(2)で分散が評価される離散値の分布をプロットしたものであり、当該プロット等の表現の仕方に関しては図３で説明したのと同様である。図３の場合と同様に、図４においても破線で示す式(1)を時刻の連続関数とした場合の分布が「◇」で示す離散値の分布から大きく乖離することはないことを見て取ることができる。そして、図４では[1]に示すように、h₁=1,10が式(2)の分散を最小化するものとなっていることを、「◇」の上下方向における変動幅が最も少なくなっているものとして、見て取ることができる。そして、値が小さい方のh₁=1を採用することができる。

【0046】

以上、本発明によれば、所与のf_c,f_p,nに応じて定まる所定の組み合わせの画像を平均化するという簡素な処理により、ちらつきを低減することができる。図５は、本発明によるちらつき低減の効果を、比較例と共に模式的に示す図である。すなわち、図５では[A]に示すような動きがあった際に、各手法において得られる結果としての映像を[R1]～[R4]として示している。[A]では、表示を想定した低フレームレート30fpsの時間間隔（1/30秒）において球体が矢印で示すように右向きに高速に動いたものとする。本発明の適用結果の映像[R1]では、ちらつき低減が実現されたうえで且つ、高速な動きによる動きボケも少ない結果となっている。対比例としての[R2]は撮像も低フレームレートの30fpsで行う場合であり、ちらつきは知覚できないが動きボケが発生してしまう。対比例としての[R3]は撮像及び表示を高フレームレートの240fpsでそのまま行う場合であり、動きボケがない代わりにちらつきが発生してしまう。対比例としての[R4]は特許文献３の手法であり、f_p=50Hzの光源明暗に合わせて露光時間を変更することでちらつきを抑制するが動きボケが発生してしまっている。

【0047】

なお、図５の各結果[R1]～[R4]においては、[A]のように高速移動している球体の映像におけるちらつき（明滅）を濃淡で表現している。また、球体以外の背景部分も同様に濃淡で表現している。すなわち、[R2]は露光時間が長いので背景も含め全体が明るく撮像され、[R3]は光源変化で明暗はあるが露光時間が短いので全体的に暗く撮像されている。そして、[R1]と[R4]は当該両者の中間的な撮像がなされている。

【0048】

以上、図５の模式例に本発明による結果[R1]を対比例[R2]～[R4]と共に示すことから理解されるように、本発明は選択画像に対する平均化処理の活用によって動きボケを許容可能な範囲に抑制したうえで且つ同時に、ちらつきも低減することが可能である。なお、平均化処理に用いる全ての撮像画像の時間間隔が1/30秒程度以内であれば、当該時間間隔は一般的な撮像装置で利用されている標準的な30fpsより小さいので平均してもボケは知覚できないこととなる。むしろ、一枚一枚の撮像画像は1/f_c秒以内の露光時間で撮像されているため動きボケは発生せず、露光時間を延長する特許文献３などと比較して動きボケを抑制できる効果が得られることとなる。

【0049】

また、図３や図４の例における連続関数としての式(1)の挙動からも見て取れるように、式(2)において分散として評価されている加工部3による平均画像（加工画像）の明滅変動の挙動は、撮像周波数f_cや電源周波数f_pが所定誤差の範囲内で変動しても、大きく変化するものではない。すなわち、f_cやf_pが誤差範囲で変動する場合、図３や図４のグラフは横軸（時間軸）方向でわずかに伸縮あるいは移動することとなるが、当該わずかな伸縮あるいは移動によって平均画像（加工画像）の明滅変動の挙動、すなわち縦軸方向の変動の挙動は大きく変化するものではない。

【0050】

従って、本発明によれば撮像周波数f_cや電源周波数f_pの実際の値が規格値から誤差を伴う場合であっても、規格値を前提とした選択部2による選択によって、ちらつきを抑制することが可能である。同様に、加工部3による加工の更新のタイミングが変動する場合（例えば、情報処理装置10における別途の処理が並行して実施されることにより、加工部3で利用可能な計算リソースが想定しているものより少なくなるような場合）であっても、ちらつきを抑制することが可能である。

【0051】

以下、本発明における追加実施形態その他に関する追加説明（１）～（６）を行う。

【0052】

（１）選択部2は、所与のf_c,f_p,nに応じて定まる所定の組み合わせ{h}の選択を行うものであり、時刻tに応じて当該選択結果が変動するわけではない。すなわち、以上の説明ではちらつき低減が実現されることの説明のために便宜上、選択部2を設けて説明を行ったが、選択部2は加工部3に統合されているものとして、加工部3において直接、撮像部1で得た撮像画像から、予め当該説明した選択部2と同様の処理で決定した組み合わせ{h}に基づく固定的な選択結果に相当する複数の画像の選択を行ったうえで、平均画像としての加工画像を得るようにしてもよい。換言すれば、組み合わせ{h}は事前設定のパラメータとして扱ってもよく、選択部2の固定的な選択処理を加工部3での加工処理に統合することで、（各時刻tについてその都度の処理を行う機能部としての）選択部2を省略してもよい。

【0053】

（２）選択部2により選択され加工部3で平均化される複数の撮像画像のうち、一部（又は全部）が処理落ちやフレームドロップ等で欠落し、参照して利用することができない場合には、組み合わせ{h}全体における選択画像を1枚ずつ過去へとシフトしていき、最も近い過去において利用可能である組み合わせを利用するようにすればよい。以下では説明のため、m枚だけ過去へシフトした組み合わせを{h}_[m]とする。

【0054】

例えば、図３の例では{h}={0,6}、すなわち現時刻0と6個前の過去時刻6とが選択対象であるが、このうち少なくとも一方が利用不可能である場合、まず、1枚だけ過去へシフトした{h}_[1]={1,7}の全部が利用可能かを確認し、利用可能であればこれを{h}に代わる選択結果とする。{h}_[1]が利用できない場合は、{h}_[2]={2,8}をさらに確認し、{h}_[2]も利用できない場合はさらに{h}_[3]={3,9}を確認し、といったようにして、m枚だけ過去へシフトした利用可能な結果{h}_[m]＝{m,6+m}のうちmが最小となるものを{h}に代わるものとして採用すればよい。

【0055】

なお、上記の結果{h}_[m]を利用する実施形態も、前提となる{h}が固定的なものであるため、（１）で説明したように選択部2の選択処理が加工部3に統合されて実施されるものとして扱ってよい。

【0056】

（３）所与のf_c,f_p,nに応じて定まる所定の組み合わせ{h}に関する好適な実施形態として次も可能である。ここで、図３や図４の例のように、高速に平均画像を得ることが可能なものとしてn=2且つ{h}={0,h₁}を制約として課すこととする。

【0057】

例えば、日本において電源の周波数f_pは地域によって50Hzあるいは60Hzと異なっている上、例外（境界付近や鉄道網等）もあるため、複数の電源の周波数f_pに対応するように撮像の更新タイミング（すなわち撮像周波数f_c）及び{h}におけるh₁（式(2)の分散を最小化する解としてのh₁）を設定しておくことが望ましい。例えば、撮像周波数f_c=240Hzの場合、f_p=50Hzでは解h₁=6となり、f_p=60Hzでは解h₁=1となるので、電源の周波数がどちらであるかを判定した上で適切なh₁を設定する必要が生じてしまう。しかし、撮像周波数f_c=220の場合、f_p=50Hzでもf_p=60Hzのいずれでも解h₁=1となるため、f_c=220Hz,h₀=0,h₁=1と設定しておくことで電源の周波数に依存せずちらつきを抑制できる。

【0058】

すなわち、高速に平均画像を得ることが可能なものとしてn=2且つ{h}={0,h₁}の制約下において、電源周波数f_pの候補が複数ある場合、撮像周波数f_cを、当該複数の電源周波数f_pの候補に関して解h₁が共通となるようなものとして設定するようにしてよい。同様に例えば、n=3且つ{h}={0,h₁,h₂}の制約下において、撮像周波数f_c=220Hzとして設定すれば、電源周波数f_pの候補がf_p=50Hzとf_p=60Hzとの2つがある場合においても、{h}の共通解が存在し、ちらつき抑制のための設定として利用可能となる。具体的には、h₁=3,h₂=8の場合すなわち解{h}={0,3,8}が、撮像周波数f_c=220Hzのもとでの2通りの電源周波数f_p=50Hzとf_p=60Hzとの両方において分散を最小化する共通解として存在することとなる。

【0059】

（４）図２を参照して説明した通り、本発明は例えば高フレームレートとしての撮像周波数f_c=240Hzに対して、表示周波数f_vを例えば低フレームレートf_v=30Hzとする場合と、また例えば撮像周波数f_cと同じ高フレームレートf_v=240Hzとする場合と、のいずれであっても、当該低フレームレート又は高フレームレートでの表示周波数f_vによって表示部4で表示を行う際のちらつきを低減し、且つ動きボケも抑制することが可能である。

【0060】

なお、上記の（２）で説明したm枚だけ過去へシフトした組み合わせ{h}_[m]から利用可能なものを探索する実施形態は、低フレームレートで表示し撮像は高フレームレートで行う場合にも好適な実施形態である。m枚のシフトは高フレームレートにおいて行うことが可能であり、低フレームレートでの表示に対して、探索の幅（探索しうる範囲）が広いからである。

【0061】

また、本発明（上記の表示に関して低フレームレートで行う場合のもの）と組み合わせて実施するのに好適な例として前掲の特許文献１がある。特許文献１では例えば高フレームレートとしての撮像周波数f_c=240Hzで撮像画像を取得し、当該高フレームレートの撮像画像を解析して画像内の対象物の動き検出を行い、当該検出された動きに基づいた拡張現実表示等の表示を、例えば低フレームレートf_v=30Hzにおいて実施するものである。ここで、高フレームレートで検出された動きを合成することで、表示に用いる低フレームレートでの動きを得ている。

【0062】

（５）式(2),(3)では分散などを最小化する組み合わせ{h}を選択部2での選択結果として求めるものとしたが、当該組み合わせ{h}の探索空間が膨大な場合等は、厳密な最小値としての組み合わせではなく、その漸近解ないし近似解として、所定基準を満たすものを選ぶようにしてもよい。例えば、分散などが判定用の閾値以下となるものを解としてもよいし、探索空間内から間引いて探索したもののうちの最小値を与えるものを解としてもよい。

【0063】

（６）情報処理装置10は、一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって情報処理装置10を構成することができる。さらに、情報処理装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等において実現するようにしてもよい。

【符号の説明】

【0064】

10…情報処理装置、1…撮像部、2…選択部、3…加工部、4…表示部

【図1】

【図2】

【図3】

【図4】

【図5】