IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2022-184123流体の密度勾配検知方法および流体の密度勾配検知方法システム
<>
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図1
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図2
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図3
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図4
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図5
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図6
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図7
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図8
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図9
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図10
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図11
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図12
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図13
  • 特開-流体の密度勾配検知方法および流体の密度勾配検知方法システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184123
(43)【公開日】2022-12-13
(54)【発明の名称】流体の密度勾配検知方法および流体の密度勾配検知方法システム
(51)【国際特許分類】
   G01N 21/17 20060101AFI20221206BHJP
   G01N 21/45 20060101ALI20221206BHJP
   G06T 7/00 20170101ALI20221206BHJP
【FI】
G01N21/17 A
G01N21/45 B
G06T7/00 300F
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021091788
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】渕上 郁雄
【テーマコード(参考)】
2G059
5L096
【Fターム(参考)】
2G059AA01
2G059BB02
2G059EE04
2G059EE09
2G059FF01
2G059FF08
2G059JJ30
2G059KK04
2G059MM01
2G059MM14
5L096DA02
5L096FA64
5L096GA19
(57)【要約】
【課題】汎用カメラまたは既設のカメラにおいて高感度に気流の密度勾配を可視化する。
【解決手段】流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、撮像装置が撮像した撮像画像を基に、被観察対象エリアにおける流体密度勾配を示す画像を出力する。撮像条件は、撮像画像上でのパターン模様が周期的に変化する方向における撮像画像の画素の幅と、撮像画像上でのパターン模様のパターン周期幅との関係に基づいて決定される。
【選択図】図5
【特許請求の範囲】
【請求項1】
撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、
前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、
前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅と、前記撮像画像上での前記パターン模様のパターン周期幅との関係に基づいて決定される、
流体の密度勾配検知方法。
【請求項2】
前記撮像条件は、
前記撮像画像上の前記パターン周期幅が前記画素の幅に対して150%~250%の範囲となる、
請求項1に記載の流体の密度勾配検知方法。
【請求項3】
前記撮像条件は、更に、前記撮像画像上に発生するモアレの周期に基づいて決定される、
請求項1または2に記載の流体の密度勾配検知方法。
【請求項4】
前記撮像画像上の前記パターン周期幅が前記画素の幅に対して所定の範囲内となるように前記撮像条件を調整する第1の調整を行い、
前記第1の調整によって調整された前記撮像条件を、この撮像条件で撮像された撮像画像上に発生するモアレの周期に基づいて更に調整する第2の調整を行う、
請求項1~3のいずれか一項に記載の流体の密度勾配検知方法。
【請求項5】
前記第2の調整において、前記モアレの周期が最長となるように前記撮像条件を調整する、
請求項4に記載の流体の密度勾配検知方法。
【請求項6】
画角を含む、前記撮像装置の光学条件を調整することによって前記撮像条件を変更する、
請求項1に記載の流体の密度勾配検知方法。
【請求項7】
前記パターン模様のパターン周期幅を調整することによって前記撮像条件を変更する、
請求項1に記載の流体の密度勾配検知方法。
【請求項8】
前記被観察対象エリアにおける気体密度勾配の大きさに応じて前記パターン周期幅を変更する
請求項7に記載の流体の密度勾配検知方法。
【請求項9】
前記被観察対象エリアにおける気体密度勾配の方向に応じて前記パターン模様が周期的に変化する方向を決定する、
請求項1に記載の流体の密度勾配検知方法。
【請求項10】
前記背景画像を複数の区画に分割して、
前記区画毎に、前記被観察対象エリアにおける気体密度勾配の方向に応じて前記パターン模様の方向を決定する、
請求項9に記載の流体の密度勾配検知方法。
【請求項11】
前記撮像装置の焦点を前記背景画像に合わせた状態で前記第1の調整および前記第2の調整を行う、
請求項4または5に記載の流体の密度勾配検知方法。
【請求項12】
所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像する撮像部と、
前記撮像部が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力する画像出力部と、を備え、
前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅と、前記撮像画像上での前記パターン模様のパターン周期幅との関係に基づいて決定される、
流体の密度勾配検知システム。
【請求項13】
前記撮像部の光学条件を変更する制御部をさらに有し、
前記制御部は、前記撮像画像のモアレの周期が最長となるように前記光学条件を調整する、
請求項12に記載の流体の密度勾配検知システム。
【請求項14】
前記背景画像を変更する背景作成部をさらに有し、
前記背景作成部は、前記撮像画像のモアレの周期が最長となるように前記背景画像を調整する、
請求項12に記載の流体の密度勾配検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、流体の密度勾配を可視化する流体の密度勾配検知方法および流体の密度勾配検知システムに関する。
【背景技術】
【0002】
気流の密度勾配を可視化する方法として、透明な気体中の密度勾配により通過する光が屈折する現象を利用し、屈折率の変化を明暗の差として観測するシュリーレン法が知られている。
【0003】
このシュリーレン法を用いて気流の密度勾配を可視化するためには平行光を作るための光学系と主光束を遮断するためのナイフエッジとが必要であり、光学系の光軸調整に技術を要することや、設置するための場所、撮像方向に制約がある等の問題があった。
【0004】
これら平行光を作り出す光学系や光遮断部を必要としない気流の密度勾配の可視化方法として、背景指向シュリーレン法(Background Oriented Schlieren法、以下「BOS法」と呼ぶ)が知られている(例えば非特許文献1参照)。例えば、特許文献1ではBOS法を用いて、プロジェクタが投影したパターンに応じて光遮断部が光を遮断することで、密度勾配の可視化を行う方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第6796306号公報
【特許文献2】特許第5800174号公報
【非特許文献】
【0006】
【非特許文献1】「Background Oriented Schlieren 法に基づく密度勾配の可視化法の改良」、赤塚純一他、日本機械学会論文集(B編)77巻784号、2011年12月
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、一般的にカメラに上述のような光遮断部は設けられておらず、汎用カメラまたは既設のカメラでは、特許文献1に開示される手法で気流の密度勾配の可視化をすることは困難であった。
【0008】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、汎用カメラまたは既設のカメラにおいて高感度に気流の密度勾配を可視化する流体の密度勾配検知方法および流体の密度勾配検知システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本開示は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅と、前記撮像画像上での前記パターン模様のパターン周期幅との関係に基づいて決定される、流体の密度勾配検知方法を提供する。
【0010】
また、本開示は、所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像する撮像部と、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力する画像出力部と、を備え、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅と、前記撮像画像上での前記パターン模様のパターン周期幅との関係に基づいて決定される、流体の密度勾配検知システムを提供する。
【発明の効果】
【0011】
本開示によれば、密度勾配の検出感度を向上することが可能になる。
【図面の簡単な説明】
【0012】
図1】第1の実施形態に係る撮像システムの構成を示す図
図2】(a)第1の実施形態に係るカメラの概略構成を示す図、(b)第1の実施形態に係るイメージセンサの正面を示す図
図3】背景を形成するパターン模様の一例を示す図
図4】所定の撮像条件に設定されたカメラによって、背景のパターン模様を撮像した撮像画像の一例を示す図
図5】(a),(b),(c),(d),(e)IPとSの比率と縞模様の関係を示した図
図6】カメラの光学ユニットの調整手順を示す図
図7】ズーム位置の調整方法を示す図
図8】(a),(b),(c)モアレ(干渉縞)の周期Pの測定法を説明する図
図9】IP=2.02Sにした条件で、縞模様を1IP分の範囲で動かした場合のモアレによる変位の拡大効果を説明する図
図10】第2の実施形態に係る撮像システムの構成を示す図
図11】縞模様の周期Pの調整手順を示す図
図12】(a),(b)縞模様の回転を示す図
図13】区画ごとに向きを変更した縞模様を示した図
図14】カメラ制御部の概略構成を示すブロック図
【発明を実施するための形態】
【0013】
(本開示に係る流体の密度勾配検知の基礎となった知見)
モアレ(干渉縞)は周期性のあるパターンを重ね合わせた時にパターン同士の光学的な干渉により発生する縞模様のことで、例えば、周期性のある画素の集合体であるデジタルカメラのイメージセンサに、周期的なパターンが投影されるとモアレが発生することがある。デジタルカメラに特有のイメージセンサに干渉して発生するモアレは、フィルムカメラとの比較で問題視されることがあり、モアレの発生を抑えるためにフォーカスをずらしたり、ローパスフィルタを取り付けたりして撮像をすることがある。
【0014】
しかし、本開示では積極的にイメージセンサへの干渉によるモアレを発生させることで、モアレの持つ変位の拡大効果を利用して、一般的なBOS法では困難な微小な密度変化の可視化を実現した。
【0015】
モアレには、パターン同士の微小な相対変位をモアレの移動量として大きく拡大する特性があり、たとえば、図9は、IP=2.02Sにした条件で、縞模様を1IP分の範囲で動かした場合のモアレによる変位の拡大効果を示した図である。図9では、縞模様の位相の変位(0π・rad~2π・radの11パターン)毎のモアレの画像を400ピクセル幅で表示したものを、縦方向に並べており、縦方向の1π・rad(=1ピクセル相当)の変位に対して、モアレは横方向に約100ピクセル分の変位として現れる。このようにモアレを利用することで微小な変位を拡大できる。
【0016】
以下の実施形態ではイメージセンサへの干渉によるモアレを利用することで、特殊な光学設備を使用せずに、汎用カメラによる高精度な密度勾配の可視化を実現した例を説明する。
【0017】
以下、適宜図面を参照しながら、本開示に係る流体の密度勾配検知方法および流体の密度勾配検知システムを具体的に開示した実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0018】
(第1の実施形態)
図1は、第1の実施形態に係る撮像システム100の構成を示す図である。撮像システム100は、カメラ20および背景30を含み、BOS法によって観測対象10の密度勾配を観測する。カメラ20は、距離L離れて配置された背景30にフォーカスを合わせ、画角αで観測対象10と背景30の一部または全部を撮像する。そして、観測対象10は、カメラ20と背景30との間の被観察対象エリアに位置し、少なくとも空気等の気体を含む領域に相当する。
【0019】
本実施形態では、観測対象10は、気流が発生し密度勾配がある空気等の気体を想定しているが、カメラ20で撮像可能な波長の光が透過可能な液体や固体等でもよい。
【0020】
撮像システム100は、更に背景30を設置または表示するための表示媒体35を有してもよい。つまり、表示媒体35は、カメラ20から見て背景30の背面側に設けられてもよい。表示媒体35は、例えば壁等の施設の一部で構成されてもよい。この場合、背景30は壁等の模様として形成されてもよいし、プロジェクタによって壁等に投射されてもよい。または、表示媒体35は、例えば紙、プラスチック等の持ち運び可能な媒体で構成されてもよい。この場合、背景30は、持ち運び可能な媒体に印刷され、施設内の壁やスクリーン等に張り付けられる。または、表示媒体35は、例えばディスプレイ等で構成されてもよい。この場合、背景30は、ディスプレイに表示される。
【0021】
撮像システム100は、更にカメラ20の動作を制御するための制御信号を送信するコンピュータ(以下「カメラ制御部26」と言う)を有してもよい。制御信号は、例えば、カメラ20のフォーカス、ズーム等の光学条件を変更する信号、撮像開始または撮像停止を制御する信号等を含む。なお、カメラ20がパンまたはチルトが可能であれば、カメラ制御部26はパンまたはチルトを制御するための制御信号をカメラ20に送信してもよい。
【0022】
なお、カメラ制御部26は、カメラ20内に一体的に組み込まれてもよい。また、カメラ20の制御の全てまたは一部は、カメラ制御部26の代わりにカメラ20に取り付けられた入力部(ボタン、レンズ、タッチパネル等)をユーザが直接的に操作することによって実行されてもよい。
【0023】
図14は、カメラ制御部26の概略構成を示すブロック図である。図14に示すように、カメラ制御部26は、プロセッサ41、バス42、メモリ43、ディスプレイ44、入力部45、通信部46を有する構成である。プロセッサ41、メモリ43、ディスプレイ44、入力部45、通信部46は、バス42を介して互いにデータの入出力が可能に接続される。
【0024】
プロセッサ41は、バス42を介してカメラ制御部26の各要素を制御する。プロセッサ41として、例えば、汎用CPU(Central Processing Unit)が用いられるが、他にはDSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)を用いて構成されてもよい。また、プロセッサ41は、メモリ43に記憶されている所定のプログラムを実行することにより、カメラ20により撮像された撮像画像に基づいてフォーカス調整信号やズーム調整信号を生成したり、カメラ20により撮像された撮像画像を用いて後述の処理により密度勾配の可視化をしたりしてもよい。
【0025】
メモリ43は、他の要素から様々な情報を取得し、一時的あるいは恒久的にその情報を保持する。メモリ43は、いわゆる一次記憶装置と二次記憶装置の総称である。メモリ43は、物理的に複数配置されてもよい。メモリ43として、例えば、DRAM(Dynamic Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)が用いられる。
【0026】
ディスプレイ44は、例えばLCD(Liquid Crystal Display)あるいは有機EL(Electroluminescence)デバイスを用いて構成され、カメラ20から送られた撮像画像や密度勾配の可視化処理を行った結果を表示してもよい。
【0027】
入力部45は、ユーザからの操作を受け付けるための操作デバイスを用いて構成され、例えばマウスあるいはキーボードであってよい。また、入力部45は、ディスプレイ44と一体となったタッチパネルを構成してもよい。
【0028】
通信部46は、カメラ20との間での通信インターフェースとして機能するための通信回路を用いて構成され、例えばカメラ20に対してフォーカス調整信号やズーム調整信号を出力したり、カメラ20から撮像画像を受信したりする。また。通信部46は、撮像画像や、密度勾配の可視化処理の結果をインターネット等のネットワークを介して他の外部装置に転送してもよい。
【0029】
図2(a)は、第1の実施形態に係るカメラ20の概略構成の断面を示す図である。図2(b)は、第1の実施形態に係るイメージセンサの正面を示す図である。図2(a)および図2(b)に示すように、カメラ20(「撮像装置」に相当)は、光学ユニット21とイメージセンサ25とを有し、光学ユニット21を操作または制御することでイメージセンサ25に入射する光を調整可能である。詳細は後述するが、カメラ20は、観測対象10および背景30を撮像する際の光学条件が光学ユニット21によって調整されることで、観測対象10における気流の密度勾配を適切な条件で撮像することができる。
【0030】
光学ユニット21は、例えば複数のレンズで構成され、フォーカス機能部22とズーム機能部23とを有し、カメラ20の光学条件を変更する。光学ユニット21を構成する1つ以上のレンズの位置等を調整することによって、フォーカス位置を調整するフォーカス機能部22、また、ズームにより画角の大きさを調整するズーム機能部23は実現される。なお、光学ユニット21は、ユーザによる直接的な操作によって、または、後述するカメラ制御部26からのフォーカス調整信号とズーム調整信号とによって、フォーカス機能部22とズーム機能部23とを実行してもよい。
【0031】
イメージセンサ25は、2次元に配置された複数画素の集合体であり、密度変化を可視化したい方向に対して、撮像面の長さWに、R個の画素数を有する。つまり、本実施形態に係るカメラ20のイメージセンサ25では、水平方向に合計R個の画素が配列される。イメージセンサ25は、撮像により得られた出力として画像信号または画像データを得るが、撮像面に入射した可視光を撮像するものでもよいし、撮像面に入射した赤外線等の非可視光を撮像するものであってもよい。
【0032】
図3は、背景を形成するパターン模様の一例を示す図である。背景30はパターン模様である縞模様31を形成する。縞模様31は、明部(白)と暗部(黒)とが横方向に周期Pで繰り返す模様を形成する。すなわち、図3に示す縞模様31が周期的に変化する方向は横方向である。なお、縞模様31は、可視化したい密度勾配の方向に分布を有することが好ましく、例えば図3に示す縞の方向では横方向(つまり、左右方向)の密度勾配の観測に適している。
【0033】
本実施形態では縞模様31は白黒2値の縞模様を使用しているが、カラーの縞模様であってもよいし、グラデーション変化による縞模様であってもよいし、格子状であってもよい。
【0034】
図4は、所定の撮像条件に設定されたカメラ20によって、背景のパターン模様を撮像した撮像画像の一例を示す図である。撮像画像32は、ピクセルの集合体である。図4において、IPとSとは、それぞれ背景画像として撮像された縞模様31の縞の周期(パターン周期)とパターン周期方向のピクセルの幅を表す。なお、ここでの撮像条件とは、撮像画像32上での縞模様31が周期的に変化する方向における撮像画像32の画素の幅であるピクセル幅(S)と、撮像画像32上での縞模様31のパターン周期幅(IP)との関係に基づいて決定される。すなわち、この撮像条件は、カメラ20の光学条件(例えば画角(ズーム)、焦点等)、カメラ20および背景30間の距離L(図1参照)、縞模様31のパターン周期幅(IP)などを変更することで調整可能である。
【0035】
本実施形態では、図4に示す撮像画像32において、撮像画像32に映る背景画像の縞の周期IPと画像のピクセル幅Sの関係がIP≒2Sとなるようにカメラ20の光学ユニット21がカメラ制御部26によって調整される。具体的には、背景30が距離L離れた状況において、背景30にフォーカスが合うように調整され、上記関係(つまり、IP≒2S)となるようにカメラ20の画角αがカメラ制御部26によって調整される。そして、その条件で撮像された撮像画像32を用いてBOS法を行う。
【0036】
上記の撮像条件において、カメラ20が観測対象10と背景画像とを撮像した撮像画像32には、モアレによる変位の拡大効果が表れる。これにより、撮像対象(言い換えると、観測対象10)の密度変化勾配により発生する1画素に満たない変位を拡大することができ、BOS法の密度勾配の検出感度を向上することができる。
【0037】
光学条件としてIP=2Sを選択した理由を、図5(a)~図5(e)を用いて説明する。図5(a)~図5(e)は、IPと2Sの比率と縞模様の関係を示した図である。
【0038】
図5(a)は、IP=2Sの条件での画素と縞模様の関係を示した図である。上2段分の画素に対応する背景と比較して、下2段分の背景は横方向に1画素の幅であるピクセル幅(S)より小さく移動(以下、シフトΔS)している。このシフトΔSは、観測対象10の例えば密度勾配がある空気(つまり、観測対象10)による光の屈折により発生する。
【0039】
そして、シフトΔSによって下2段分の画素では、上2段分と比較して、その画素に占める縞模様の明部(白)と暗部(黒)の割合が変化するため、イメージセンサ25により撮像される画像を構成する画素の値が変化する。この画素の変化がモアレとなって現れることで、背景の移動(つまり、気体の密度勾配による光の屈折)を可視化することができる。
【0040】
例えば、光学条件(例えば周期IP)が2Sよりも大きい場合、図5(b)に示すIP=3Sの状態では、シフトΔSが発生しても、画素に占める縦線の白黒の割合が変化しない個所(図中矢印部分)では画素の値が変化しない。
【0041】
ここで、IPを2Sに近づけて図5(c)に示すIP=2.5Sの状態にすると、シフトΔSに対して、すべての画素で、画素に占める縦線の白黒の割合が変化するため、気体の密度勾配を検出できるようになる。しかし、シフトΔSにより各画素値が白黒から、白黒の中間色(グレー)に変化する図5(a)と比較すると、図5(c)ではシフトΔSに係わらず常にグレーの画素を含むため、モアレの鮮明さは劣る。
【0042】
また、光学条件(例えば周期IP)が2Sよりも小さい場合においても、IPが2Sに近づくほどシフトΔSを可視化できるようになる。
【0043】
例えば、図5(d)に示すIP=1Sの状態では、シフトΔSが発生している下2段分の画素の全ておいて値が変化しないため、モアレは発生しない。
【0044】
ここで、IPを2Sに近づけて図5(e)に示すIP=1.5Sの状態にすると、シフトΔSに対して、画素に占める縦線の白黒の割合が変化しない個所(図中矢印部分)は残るものの、モアレが発生する。
【0045】
このように、IPと2Sの関係は、IPが1.5Sより大きく、2.5Sよりも小さい範囲内において、特にIP=2Sの条件時に気体の密度勾配をモアレにより鮮明に可視化することができる。
【0046】
次に、図6を用いてカメラ20の画角αの調整手順を説明する。図6は、カメラ20の光学ユニット21の調整手順の一例を示す図である。なお、以下の説明においてカメラ制御部26によってカメラ20の光学ユニット21を調整する事例について説明するが、各調整ステップの一部または全てがユーザの直接的な操作によって行われてもよい。
【0047】
まず、カメラ制御部26は、カメラ20のズーム機能部23を用いてズームを望遠端に設定し、背景30の縞模様31を拡大して撮像する(ST100)。
【0048】
次に、カメラ制御部26は、フォーカス機能部22を用いて背景30にフォーカスが合うように調整する(ST110)。なお、フォーカスの調整は一般的なオートフォーカス機能によって行われてもよい。
【0049】
次に、カメラ制御部26は、ズーム機能部23により画角αを粗調整(第1の調整の一例)を行う(ST120)。画角αの調整目標値は、カメラ20から背景30までの距離Lと、イメージセンサ25の水平画素数Rと背景30の縞模様31の周期Pとを用いて(図1図2図3参照)、下記の(数式1)から算出される。
【0050】
【数1】
【0051】
また、ズームの調整の単位として焦点距離fを利用する場合には、画角αと焦点距離fの関係を下記の(数式2)を用いて求めることができる。Wはイメージセンサ25の撮像面の有効領域の長さである(図2参照)。
【0052】
【数2】
【0053】
そして、(数式1)の光学条件で背景30にフォーカスを合わせて撮像した撮像画像32は縞模様31の周期IPと画像のピクセル幅Sとの関係が、1.5S<IP<2.5Sとなり、イメージセンサ25の画素列と縞模様31とが干渉したことによるモアレが発生する。
【0054】
なお、イメージセンサ25がグレースケール画像を生成するイメージセンサである場合、このイメージセンサ上の1ピクセルが生成されたグレースケール画像データの1ピクセルと対応するため、水平画素数Rはこのイメージセンサ25上の水平画素数に相当する。一方、イメージセンサ25がBayer配列によって構成され、カラー画像を生成する場合、配列の1組が画像データでの1ピクセルに対応するため、水平画素数Rは配列の組の数に相当する。
【0055】
ステップST120による画角αの粗調整(第1の調整の一例)の次に、カメラ制御部26は、モアレを利用してズーム位置(焦点距離f)の微調整(第2の調整の一例)を行う(ST130)。
【0056】
ここで、図7を用いてカメラのズーム位置の微調整について詳細に説明する。図7は、モアレ(干渉縞)の周期Pを利用してズーム位置の調整方法を示す図である。以下の説明において、カメラ制御部26によってカメラ20の光学ユニット21を調整する事例について説明するが、各調整ステップの一部または全てがユーザの直接的な操作によって行われてもよい。
【0057】
ステップST131においてカメラ制御部26はステップST120で調整した画角に対応する焦点距離を、繰り返し回数k=0時の焦点距離f(0)として記憶する。
【0058】
ステップST132においてカメラ制御部26は後述の方法でモアレの周期P (0)を測定する。
【0059】
ステップST133においてカメラ制御部26は焦点距離fがΔf(K)分ずれるようにズーム位置を変更する。
【0060】
ステップST134においてカメラ制御部26はズーム位置変更後のモアレの周期P (K)を測定する。
【0061】
ステップST135においてカメラ制御部26はP (K)とそのズーム変更前のP (K-1)の差分ΔP (K)を算出する。
【0062】
ステップST136においてカメラ制御部26はΔP (K)の絶対値と終了判定閾値PTHとの比較を行う。終了判定閾値PTHは、ΔP (K)の変化が、例えば目視で判断できない程度に小さくなる値を設定する。
【0063】
ΔP (K)がPTHより大きい場合には次のステップに移り、小さい場合には調整が完了したとして処理を完了する。
【0064】
また、処理の完了条件はΔP (K)とPTHの比較だけではなく、ループカウンタkが所定の値を超えた場合は終了する条件も追加してもよい。これにより、ズームの調整を行っても終了判定閾値PTH以下に収束しない場合にも処理を終えることができる。
【0065】
ステップST137においてカメラ制御部26はΔP (K)が0以上かを判定し、0以上ならばステップST137に進み、0よりも小さい場合にはステップST138に進む。
【0066】
ステップST138において次のズームの調整幅Δf(K+1)をΔf(K)と同じにして、ステップST133に戻る。
【0067】
ステップST139においてカメラ制御部26は次のズームの調整幅Δf(K+1)を-XΔf(k)として、ステップST133に戻る。Xは0<X<1を満たす更新係数である。
【0068】
ここで、モアレ(干渉縞)の周期Pの測定法を説明する。図8(a)~(c)は、モアレ(干渉縞)の周期Pの測定法を説明する図である。図8(a)は、IP=2.020S時のモアレの模様(上段)とモアレの模様の濃淡をグラフ化した物(下段)を示している。ここでモアレの模様に対して、包絡線を描き、その周期を測定することで、モアレの周期Pを測定することができる。このモアレの周期PはIP=2Sの時に最長となり、図8(b)に示すIP=1.970Sの場合や、図8(c)に示すIP=2.071Sの場合には、図8(a)よりも周期が短くなる。
【0069】
以上の手順により、撮像画像32の縞の周期IPと画像のピクセル幅Sの関係が、IP≒2Sとなるようにカメラ20の光学ユニット21を調整ができる。
【0070】
次に、上述の光学条件にて撮像した撮像画像32を用いて観測対象10の密度勾配を可視化する方法を説明する。
【0071】
被観察対象エリア内で気流の密度勾配が発生していない状態でカメラを用いて撮像した基準となる背景画像と、被観察対象エリア内で気流の密度勾配が発生している状態で撮像した観測用の背景画像と、を用いて画像処理を行い気流の密度勾配を可視化する。
【0072】
画像処理はカメラ制御部26で実施し、例えば、特許文献2に記載されている方法を用いてもよい。
【0073】
また、基準となる背景画像と観測用の背景画像との差分を用いず、観測用の背景画像を連続で取得して、最新の背景画像とその単位時間前(1フレーム前)に撮像した背景画像とのフレーム差分を用いてもよい。
【0074】
フレーム差分を用いることで、基準画像の撮像時と観測画像の撮像時とでカメラの位置がずれて光学条件が変化した場合の影響を抑制できる。
【0075】
(第2の実施形態)
次に、第2の実施形態について説明する。第1の実施形態で説明した部材については同様の符号を付し、詳細な説明を省略する。第1の実施形態では縞模様31は背景30上にあり固定されているが、第2の実施形態は図10に示すように背景30にプロジェクタ50で投影した撮像システムである。図10は、第2の実施形態に係る撮像システムの構成を示す図である。また、本実施形態ではプロジェクタによる投影だが、背景がディスプレイ装置であり映像として縞模様31を映し出すものであってもよい。
【0076】
プロジェクタ50は、カメラ制御部26から入力された画像を投影する。
【0077】
カメラ制御部26は、カメラ20に接続され、カメラ20が撮像した背景画像を解析して、プロジェクタ50がスクリーンや壁等の表示媒体35に投影する縞模様31の周期Pを変更する背景作成部70を有する。この背景作成部70は、プロセッサ41(図14参照)によって実現される。
【0078】
第2の実施形態では単焦点カメラをカメラ20として使用できる。第1の実施形態では光学によるズーム機能を持つカメラを用いたが、一般には光学ズーム機能のない単焦点カメラも存在する。
【0079】
光学ズーム機能がない単焦点カメラを用いてIP=2Sに近づける場合、第1の実施形態では画角αの調整ができないために距離Lを変更する必要がある。しかし、カメラ20および表示媒体35の設置場所に制約がある場合、距離Lを変更することは困難である。
【0080】
第2の実施形態ではカメラ20の画角αが固定であるとしても、また、カメラ20および表示媒体35の設置場所に制約があるとしても、背景30の縞模様31の縞の間隔とも言える周期Pを変更することで、IP≒2Sとなる撮像条件に調整を行うことができる。
【0081】
以下、背景作成部70における背景30の生成方法について説明する。背景30を変更して撮像条件を調整するために、まず、背景作成部70は縞模様の初期値P (0)として前述の(数式1)を満たすように背景の縞のパターンを作成する(第1の調整の一例)。
【0082】
ここで、(数式1)のカメラ20と背景との距離Lは実際に測定して入力してもよいし、背景作成部70が、プロジェクタ50に既知のサイズの図形を入力し、カメラ20で撮像した画像からその図形のサイズを測定し、そのサイズから距離Lを推定してもよい。
【0083】
次に、図11に従い、縞模様31の周期Pの調整(第2の調整の一例)を行う。図11は、縞模様の周期Pの調整手順を示す図である。
【0084】
ステップST201において背景作成部70はモアレの周期P (0)を測定する。
【0085】
ステップST202において背景作成部70は縞模様31の周期Pを縞パターンの調整幅ΔP (k)分だけ変更する。
【0086】
ステップST203において背景作成部70はモアレの周期P (k)を測定する。
【0087】
ステップST204において背景作成部70はP (k)とその縞パターン変更前のP (k-1)の差分ΔP (k)を算出する。
【0088】
ステップST205において背景作成部70はΔP (k)の絶対値を終了判定閾値PTHと比較を行い、|ΔP (k)|がPTH以上の場合には次のステップに移り、閾値より小さい場合には縞模様31の周期Pの調整が完了したとして処理を完了する。終了判定閾値PTHはΔP (K)の変化が、例えば目視で判断できない程度に小さくなる値を設定する。
【0089】
ステップST206において背景作成部70はΔP (k)が0以上かを判定し、0以上ならばステップST207に進み、0よりも小さい場合にはステップST208に進む。ステップST207において背景作成部70は次の縞パターンの調整幅ΔP (K+1)をΔP (K)と同じにして、ステップST202に戻る。
【0090】
ステップST208において背景作成部70は次の縞パターンの調整幅ΔP (K+1)を-XΔP (K)に変更し、ステップST202に戻る。Xは0<X<1を満たす更新係数である。
【0091】
以上の手順により、撮像画像32の縞の周期IPと画像のピクセル幅Sの関係が、IP≒2Sとなるように背景30の縞模様31を調整ができる。
【0092】
また、背景作成部70は、背景30の縞模様31を可視化したい密度勾配の方向に分布するように回転してもよい。図12(a),(b)は、縞模様の回転を示す図である。例えば、図12(a)に示す変更前(回転前)の背景30のように、ユーザが密度勾配を可視化したい方向と、縞模様31が周期的に変化する方向とが一致していない場合には、背景作成部70は、図12(b)に示すように縞模様31を回転(変更)することでこれを一致させることができる。これにより、測定対象の密度勾配の方向が変化した場合にも、BOS法の感度を向上できる。なお、縞模様31の回転は、可視化したい密度勾配の方向がユーザに応じて行われる。
【0093】
また、図13に示すように背景作成部70は、背景30を区画に分けて、密度変化勾配の向きに応じて、区画ごとに縞模様31の縞の向きを変更してもよい。図13は、区画ごとに向きを変更した縞模様を示した図である。これにより、密度変化の向きが一様でない場合にも、BOS法の感度を向上できる。
【0094】
また、密度変化による変位が大きい場合には背景30の縞模様31を変更し、モアレの拡大効果を利用しないBOS法に切り替えてもよい。その場合の縞模様31として、例えば、非特許文献1に記載されている縞模様を用いてもよい。
【0095】
この方法により気圧密度変化が大きい場合に一般的なBOS法で測定でき、測定可能な密度変化の幅を拡大できる。
【0096】
本開示の一態様に係る流体の密度勾配検知方法は、被観察対象エリアの背景として、縞模様があり、被観察対象エリア越しに背景を撮像した背景画像を用いて被観察対象エリアの密度勾配を可視化する方法である。背景画像中の縞模様の縞の周期が、1画素の幅の150%~250%の範囲に収まる光学条件で、撮像された背景画像を用いることを特徴とする。
【0097】
本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定される。これによると、撮像画像の画素の幅とパターン周期幅とが適切な関係の撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0098】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係が、前記パターン周期幅(IP)が前記画素の幅(S)に対して150%~250%の範囲に決定する。これによると、撮像画像の1ピクセル未満の変化を拡大することができ、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0099】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係と、前記撮像画像上に発生するモアレの周期に基づいて決定される。これによると、撮像画像の画素の幅とパターン周期幅との関係を、撮像画像に発生するモアレの周期で決定した適切な撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0100】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係により第1の調整を行い、更に、第1の調整により調整された撮像条件で撮像された前記撮像画像上に発生するモアレの周期に基づいて第2の調整を行う。これによると、まず撮像画像にモアレを発生させ、次に発生したモアレの周期を利用して撮像画像の画素の幅とパターン周期幅とを適切な関係に調整し、被観察対象エリアを撮像することで、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0101】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係により第1の調整を行い、更に、第1の調整により調整された撮像条件で撮像された前記撮像画像上に発生するモアレの周期に基づいて、前記モアレの周期が最長となるように第2の調整を行う。これによると、まず撮像画像にモアレを発生させ、次に発生したモアレの周期を利用して撮像画像の画素の幅とパターン周期幅とを適切な関係に調整し、被観察対象エリアを撮像することで、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0102】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定し、画角を含む、前記撮像装置の光学条件を調整することによって前記撮像条件を変更する。これによると、撮像画像の画素の幅とパターン周期幅とが適切な関係の撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0103】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定し、前記パターン模様のパターン周期幅(IP)を調整することによって前記撮像条件を変更する。これによると、撮像画像の画素の幅とパターン周期幅とが適切な関係の撮像条件で被観察対象エリアを撮像するため、ズーム機能の無いカメラでも、流体の密度勾配の検知感度を向上することができる。
【0104】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定し、前記パターン模様のパターン周期幅(IP)を調整することによって前記撮像条件を変更する。更に、前記被観察対象エリアにおける気体密度勾配の大きさに応じて前記パターン周期幅(IP)を変更する。これによると、被観察対象エリアの気体密度勾配の大きさに応じて、撮像画像の画素の幅とパターン周期幅とが適切な関係の撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の大きさに応じて検知感度を変更することができる。
【0105】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定され、更に、前記被観察対象エリアにおける気体密度勾配の方向に応じて前記パターン模様が周期的に変化する方向を決定する。これによると、測定対象の密度勾配の方向が変化しても、撮像画像の画素の幅とパターン周期幅とを適切な関係に保つことで、流体の密度勾配の検知感度を向上することができる。
【0106】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定され、更に、前記背景画像を複数の区画に分割して、前記区画毎に、前記被観察対象エリアにおける気体密度勾配の方向に応じて前記パターン模様の方向を決定する。これによると、測定対象の密度変化の向きが撮像対象エリア内で複数あっても、それぞれの向きに合わせて、撮像画像の画素の幅とパターン周期幅とを適切な関係に保つことができ、流体の密度勾配の検知感度を向上することができる。
【0107】
また、本開示の一態様に係る流体の密度勾配検知方法は、撮像装置が所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像し、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力し、前記撮像条件の調整は、前記撮像装置の焦点を前記背景画像に合わせた状態で行われ、まず、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係により第1の調整を行い、更に、第1の調整により調整された撮像条件で撮像された前記撮像画像上に発生するモアレの周期に基づいて第2の調整を行う。これによると、撮像画像の画素の幅とパターン周期幅との関係を、撮像画像に発生するモアレの周期で決定した適切な撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0108】
また、本開示の一態様に係る流体の密度勾配検知システムは、所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像する撮像部と、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力する画像出力部と、を備え、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定される。これによると、撮像画像の画素の幅とパターン周期幅とが適切な関係の撮像条件で被観察対象エリアを撮像するため、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0109】
また、本開示の一態様に係る流体の密度勾配検知システムは、所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像する撮像部と、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力する画像出力部と、前記撮像部の光学条件を変更する制御部と、を備え、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定され、前記制御部は前記撮像画像のモアレの周期が最長となるように前記光学条件を調整する。これによると、まず撮像画像にモアレを発生させ、次に発生したモアレの周期を利用して撮像画像の画素の幅とパターン周期幅とを適切な関係に調整し、被観察対象エリアを撮像することで、特殊な光学系を用いずに、流体の密度勾配の検知感度を向上することができる。
【0110】
また、本開示の一態様に係る流体の密度勾配検知システムは、所定の撮像条件で、周期的なパターン模様を形成する背景画像を被観察対象エリア越しに撮像する撮像部と、前記撮像装置が撮像した撮像画像を基に、前記被観察対象エリアにおける流体密度勾配を示す画像を出力する画像出力部と、前記背景画像を変更する背景作成部と、を備え、前記撮像条件は、前記撮像画像上での前記パターン模様が周期的に変化する方向における前記撮像画像の画素の幅(S)と、前記撮像画像上での前記パターン模様のパターン周期幅(IP)との関係に基づいて決定され、前記背景作成は、前記撮像画像のモアレの周期が最長となるように前記背景画像を調整する。これによると、まず撮像画像にモアレを発生させ、次に発生したモアレの周期を利用して撮像画像の画素の幅とパターン周期幅とを適切な関係に調整し、被観察対象エリアを撮像することで、ズーム機能の無いカメラでも、流体の密度勾配の検知感度を向上することができる。
【産業上の利用可能性】
【0111】
本開示は、汎用カメラにおいて気流の密度勾配を可視化する方法の検出感度を向上させることができ、室内空間での微小な気流の可視化や、温度変化の可視化を行う流体の密度勾配検知方法および流体の密度勾配検知システムに有用である。
【符号の説明】
【0112】
10 観測対象
20 カメラ
21 光学ユニット
22 フォーカス機能部
23 ズーム機能部
25 イメージセンサ
26 カメラ制御部
30 背景
31 縞模様
32 撮像画像
35 表示媒体
41 プロセッサ
42 バス
43 メモリ
44 ディスプレイ
45 入力部
46 通信部
50 プロジェクタ
70 背景作成部
100 撮像システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14