特許 7165935 撮影装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-27

(45)【発行日】2022-11-07

(54)【発明の名称】撮影装置およびプログラム

(51)【国際特許分類】

   G03B 17/56 20210101AFI20221028BHJP

   G03B 37/00 20210101ALI20221028BHJP

   G03B 15/00 20210101ALI20221028BHJP

   H04N 5/222 20060101ALI20221028BHJP

   H04N 5/232 20060101ALI20221028BHJP

【ＦＩ】

G03B17/56 A

G03B37/00 A

G03B15/00 W

H04N5/222 100

H04N5/232 060

H04N5/232 380

H04N5/232 290

【請求項の数】 2

(21)【出願番号】P 2018020569

(22)【出願日】2018-02-07

(65)【公開番号】P2019138986

(43)【公開日】2019-08-22

【審査請求日】2021-02-04

【前置審査】

(73)【特許権者】

【識別番号】518045258

【氏名又は名称】株式会社アクセル

(74)【代理人】

【識別番号】100166464

【弁理士】

【氏名又は名称】山元 真人

(72)【発明者】

【氏名】江藤 淳

【審査官】辻本 寛司

(56)【参考文献】

【文献】中国実用新案第２０６７５７２９１（ＣＮ，Ｕ）

【文献】中国実用新案第２０６７４３３６１（ＣＮ，Ｕ）

【文献】国際公開第２０１７／１７６３５２（ＷＯ，Ａ１）

【文献】特開２０１６－０５７６０２（ＪＰ，Ａ）

【文献】特開２００８－１６７２４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１０８７７７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２９４０４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １７／５６

Ｇ０３Ｂ ３７／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

魚眼レンズ使用のパノラマカメラを装着する取り付け部を有して自立する一脚で、該一脚は半透明であり、撮影画像から該一脚部分の画素階調データに基づいて該一脚部分の位置を特定して抽出し、該一脚部分に補正処理を施すことで３６０度全周囲が写っていることを特徴とする撮影装置。

【請求項2】

魚眼レンズ使用のパノラマカメラを装着する取り付け部を有して自立する一脚で、該一脚は半透明である撮影装置を制御するコンピュータに、
撮影画像から該一脚部分の画素階調データに基づいて該一脚部分の位置を特定して抽出し、該一脚部分に補正処理を施して３６０度全周囲が写った画像を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１回の撮影でパノラマカメラを取り囲む３６０度全周囲の撮影対象物を撮影することができる自立型透明一脚を用いたパノラマ撮影装置および画像処理に関する。

【背景技術】

【0002】

従来、三脚にパノラマカメラを取り付けて３６０度全周囲について撮影対象物を撮影している。例えば特許文献1に記載された撮影装置は、三脚にパノラマカメラが取り付けられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平６－２３５９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された発明は、三脚部分が写り込んでしまうため３６０度全周囲を三脚に邪魔されることなく撮影することはできなかった。
本発明は、上述した課題に鑑みてなされたものであり、１回の撮影でパノラマカメラを取り囲む３６０度全周囲の撮影対象物を撮影することができる自立型透明一脚を用いたパノラマ撮影装置および画像処理をすることを目的とする。

【課題を解決するための手段】

【0005】

撮影装置はパノラマカメラを装着する取り付け部を有して自立する一脚で、該一脚は半透明であることを特徴とする。

【0006】

また、撮影装置は、パノラマカメラと、該パノラマカメラを装着して自立する半透明一脚と、該パノラマカメラに無線LANを介して接続されていて該パノラマカメラを操作する情報端末と、を備えたことを特徴とする。

【0007】

また、撮影装置は、撮影画像から一脚部分を抽出し、該一脚部分に補正処理を施すことで３６０度全周囲が写っていることを特徴とする。

【発明の効果】

【0008】

本発明によれば、パノラマカメラを支える脚の写り込みを極力少なくしたり、画像処理により脚が写り込んでいないようにしたりすることができる。

【図面の簡単な説明】

【0009】

【図1】パノラマ撮影装置１の全体を示した図である

【図2】処理装置の構成を示した図である

【図3】補正処理の第１実施形態のフローを示した図である

【図4】補正処理１を説明した図である

【図5】補正処理２を説明した図である

【図6】補正処理３を説明した図である

【図7】補正処理４を説明した図である

【図8】補正処理の第１実施形態の取得画素について説明した図である

【図9】補正処理の第１実施形態の補正順序を説明した図である

【図10】補正処理の第２実施形態のフローを示した図である

【図11】補正処理の第２実施形態の取得画素について説明した図である

【発明を実施するための形態】

【0010】

以下、本発明のパノラマ撮影装置について図１に基づいて説明する。

【0011】

パノラマ撮影装置１は、棒状又は伸縮可能な棒状で半透明な自立型一脚支持部材２の先端部にパノラマカメラ３が着脱可能に取り付けられている。

【0012】

パノラマ撮影装置1は、パノラマカメラ３の底部に形成した脚穴に支持部材2の雄ねじ部の先端を螺合して組立てることができる。

【0013】

パノラマカメラ３は本体の両面が略平板状に形成されており、その両表面に撮影用の魚眼レンズ４が取り付けられていて、１８０度強の撮影画角で半球分の撮影対象物を撮影できる。そのため、両面の魚眼レンズ４によって同時に撮影することで１回の撮影でパノラマカメラ３を取り囲む３６０度全周囲の撮影対象物を撮影することができる。

【0014】

そして、このようなパノラマ撮影装置１のパノラマカメラ３をリモートで撮影するために、パノラマカメラ３は例えばWi-Fi等の無線LANを介して例えばスマートフォン５(或いはタブレット端末等の各種の無線携帯端末やパソコン)等の無線情報端末と接続している。

【0015】

次にパノラマ撮影装置１の使用方法について説明する。
まず、スマートフォン５やパソコン等で観察して、パノラマカメラ３が正常に作動してきちんと写っているか確認する。

【0016】

そして、スマートフォン５の画面にあるパノラマカメラ３のシャッター操作をするためにある撮影ボタンを押し、それに対応してリモートでパノラマカメラ３のシャッター操作がされて撮影が行われる。

【0017】

撮影された画像は、３６０度全周囲が写り、しかも、支持部材２は棒状で半透明な自立型１脚なので、支持部材２がほとんど写らずに３６０度全周囲をほぼ完璧に撮影することができる。

【0018】

次に、本発明の第二実施形態であるパノラマ撮影装置により撮影された画像の処理について説明する。

【0019】

前述した第一実施形態で撮影された画像はわずかではあるが支持部材２が映り込んでいて、３６０度全周囲を完璧に撮影することはできなかった。そこで、画像処理を施すことで３６０度全周囲を完璧に撮影した画像にする。以下で詳しく説明する。

【0020】

パノラマカメラ３には制御部６と記憶部７が内蔵されており、制御部６は記憶部７を制御する。構成を図２に示す。

【0021】

記憶部７は、支持部材２の画素階調データ（ここでは色の表現法であるRGBを１６進数６桁で表したカラーコードについて説明するが、その他にも、例えば、明度・彩度・色相から構成されるHSV色空間に関するデータなどでも構わない）、パノラマカメラ３で撮影された画像データおよび画像処理により修正された補正後の画像データを格納する。

【0022】

なお、画像データは各画素の位置座標及び画素階調データから構成される。ここで、画素の位置座標について説明する。画素が横方向に並んだものを行、画素が縦方向に並んだものを列といい、行の番号は上から下方向へ順番に振られており、列の番号は左から右方向へ順番に振られている。画素の行番号を変数i、列番号を変数jで表現し、任意の画素の位置情報はi行j列と表す。

【0023】

次に、図３～図７のフローチャートを参照して、パノラマカメラ３が実行する支持部材２に関する補正処理についての第１実施形態を説明する。

【0024】

まず、制御部６は補正処理を実行するためのプログラムを記憶部７から読み出して処理を開始し、あらかじめ記憶部７に格納されている支持部材２の画素階調データを読み出してきて、撮影画像のうち当該画素階調データと同一部分を探し、支持部材２が写っている部分を特定する（ステップS１０１）。

【0025】

制御部６はステップS１０１の処理を完了すると、支持部材２の部分と支持部材２の周囲上下左右１画素分の画像データを収集し、記憶部７に格納する（ステップS１０２）。ここで、画素の配置の具体例を図８に示し、支持部材２の部分の画素が縦７行×横６列の長方形である場合を図８は描いている。

【0026】

制御部６はステップS１０２の処理を完了すると、記憶部７に格納された支持部材２の部分である画素の位置情報（i行j列）のうち、行と列のそれぞれについて最小数値を求める（ステップS１０３）。これにより、図９に示す通り、処理が開始される支持部材２の最も左上の位置を特定する。

【0027】

制御部６はステップS１０３の処理を完了すると、画素の位置情報（i行j列）について、変数iに行の最小数値を、変数jに列の最小数値を入れる（ステップS１０４）。

【0028】

制御部６は、ステップS１０４の処理を完了した後、補正処理１の処理を行う（ステップS１０５）。

【0029】

ここで、図４に示すフローチャートを参照して、補正処理１について説明する。

【0030】

補正処理１は、支持部材２の特定の１行を横方向（左から右へ）に補正処理する手順を説明している。

【0031】

まず、制御部６は画素の位置がi行j列の画素データの値を算出するため、画素の位置が（i-1）行（j-1）列、（i-1）行j列、（i-1）行（j+1）列の画素データを記憶部７から読み出す（ステップS２０１）。

【0032】

制御部６はステップS２０１の処理を完了すると、記憶部７から読み出した、画素の位置が（i-1）行（j-1）列、（i-1）行j列、（i-1）行（j+1）列である三個の画素の画素データについて、加算平均を求める（ステップS２０２）。

【0033】

ここで、三個の画素データを加算平均する計算について説明する。画素データは１６進数６桁であり１桁目と２桁目がR（赤色）、３桁目と４桁目がG（緑色）、５桁目と６桁目がB（青色）を表している。三個の画素データをRGBにそれぞれ分けて加算平均し、それぞれについて小数点第一位を７捨８入（１０進数での四捨五入に相当する）し１６進数２桁にし、１桁目と２桁目に求めたRの値、３桁目と４桁目に求めたGの値、５桁目と６桁目に求めたBの値にして１６進数６桁に構成して画素値を求める。

【0034】

具体的には、三個のそれぞれの画素データの１桁目と２桁目について加算平均と小数点第一位を７捨８入してRを求め、三個のそれぞれの画素データの３桁目と４桁目について加算平均と小数点第一位を７捨８入してGを求め、三個のそれぞれの画素データの５桁目と６桁目について加算平均と小数点第一位を７捨８入してBを求め、求めたRを１桁目と２桁目、求めたGを３桁目と４桁目、求めたBを５桁目と６桁目に構成した１６進数６桁の画素データが求める画素値となる。

【0035】

より具体的に計算例を示すと、三個の画素データが123456、789ABC、DEFEDCの場合、R（赤色）について三個の画素データの１桁目と２桁目を加算平均と小数点第一位を７捨８入して求めると、（12＋78＋DE）/3＝168/3＝78なので求める値は７８である。次に、G（緑色）について三個の画素データの３桁目と４桁目を加算平均と小数点第一位を７捨８入して求めると、（34＋9A＋FE）/3＝1CC/3＝99.5・・・なので求める値は９９である。次に、B（青色）について三個の画素データの５桁目と６桁目を加算平均と小数点第一位を７捨８入して求めると、（56＋BC＋DC）/3＝1EE/3＝A4.A・・・なので求める値はA5である。以上から、求める画素データの画素値（１６進数）は7899A5である。

【0036】

制御部６はステップS２０２の処理を完了すると、求めた加算平均の値を、画素の位置がi行j列の画素データの値として記憶部７に格納する（ステップS２０３）。
制御部６はステップS２０３の処理を完了すると、変数jについて１を加算する（ステップS２０４）。

【0037】

制御部６はステップS２０４の処理を完了すると、画素の位置がi行（j+1）列の画素データが支持部材２であるかどうか判定し（ステップS２０５）、もし画素の位置がi行（j+1）列の画素データが支持部材２であればステップS２０１からの処理を繰り返してi行（j+1）列の画素データの値を算出し（ステップS２０５：YES）、もし画素の位置がi行（j+1）列の画素データが支持部材２でなければ補正処理１を終了する（ステップS２０５：NO）。

【0038】

次に図３のフローに戻って、制御部６は補正処理２の処理を開始する（ステップS１０６）。

【0039】

ここで、図５に示すフローチャートを参照して、補正処理２について説明する。
補正処理２は、支持部材２の特定の１列を縦方向（上から下へ）に補正処理する手順を説明している。

【0040】

まず、制御部６は変数iの値を１増やし、画素の位置が（i-1）行（j+1）列、i行
（j+1）列、（i+1）行（j+1）列の画素データを記憶部７から読み出す（ステップS３０１）。

【0041】

制御部６はステップS３０１の処理を完了すると、記憶部７から読み出した画素の位置が（i-1）行（j+1）列、i行（j+1）列、（i+1）行（j+1）列である三個の画素の画素データについて、加算平均を求める（ステップS３０２）。

【0042】

制御部６はステップS３０２の処理を完了すると、求めた加算平均の値を画素の位置がi行j列の画素データの値として記憶部７に格納する（ステップS３０３）。
制御部６はステップS３０３の処理を完了すると、変数iについて１を加算する（ステップS３０４）。

【0043】

制御部６はステップS３０４の処理を完了すると、画素の位置が（i+1）行j列の画素データが支持部材２であるかどうか判定し（ステップS３０５）、もし画素の位置が（i+1）行j列の画素データが支持部材２であればステップS３０１からの処理を繰り返し（ステップS３０５：YES）、もし画素の位置が（i+1）行j列の画素データが支持部材２でなければ補正処理２を終了する（ステップS３０５：NO）。

【0044】

次に図３のフローに戻って、制御部６は補正処理３の処理を開始する（ステップS１０７）。

【0045】

ここで、図６に示すフローチャートを参照して、補正処理３について説明する。
補正処理３は、支持部材２の特定の１行を横方向（右から左へ）に補正処理する手順を説明している。

【0046】

まず、制御部６はjの値を１減らし、画素の位置が（i+1）行（j-1）列、（i+1）行j列、（i+1）行（j+1）列の画素データを記憶部７から読み出す（ステップS４０１）。

【0047】

制御部６はステップS４０１の処理を完了すると、記憶部７から読み出した画素の位置が（i+1）行（j-1）列、（i+1）行j列、（i+1）行（j+1）列である三個の画素の画素データについて、加算平均を求める（ステップS４０２）。
制御部６はステップS４０２の処理を完了すると、求めた加算平均の値を画素の位置がi行j列の画素データの値として記憶部７に格納する（ステップS４０３）。
制御部６はステップS４０３の処理を完了すると、変数jについて１を減算する（ステップS４０４）。

【0048】

制御部６はステップS４０４の処理を完了すると、画素の位置がi行（j-1）列の画素データが支持部材２であるかどうか判定し（ステップS４０５）、もし画素の位置がi行（j-1）列の画素データが支持部材２であればステップS４０１からの処理を繰り返し（ステップS４０５：YES）、もし画素の位置がi行（j-1）列の画素データが支持部材２でなければ補正処理３を終了する（ステップS４０５：NO）。

【0049】

次に図３のフローに戻って、制御部６は補正処理４の処理を開始する（ステップS１０８）。

【0050】

ここで、図７に示すフローチャートを参照して、補正処理４について説明する。
補正処理４は、支持部材２の特定の１列を縦方向（下から上へ）に補正処理する手順を説明している。

【0051】

まず、制御部６はiの値を１減らし、画素の位置が（i-1）行（j-1）列、i行（j-1）
列、（i+1）行（j-1）列の画素データを記憶部７から読み出す（ステップS５０
１）。

【0052】

制御部６はステップS５０１の処理を完了すると、記憶部７から読み出した画素の位置が（i-1）行（j-1）列、i行（j-1）列、（i+1）行（j-1）列である三個の画素の画素データについて、加算平均を求める（ステップS５０２）。

【0053】

制御部６はステップS５０２の処理を完了すると、求めた加算平均の値を画素の位置がi行j列の画素データの値として記憶部７に格納する（ステップS５０３）。
制御部６はステップS５０３の処理を完了すると、変数jについて１を減算する（ステップS５０４）。

【0054】

制御部６はステップS５０４の処理を完了すると、画素の位置が（i-1）行j列の画素データが支持部材２であるかどうか判定し（ステップS５０５）、もし画素の位置が（i-1）行j列の画素データが支持部材２であればステップS５０１からの処理を繰り返し（ステップS５０５：YES）、もし画素の位置が（i-1）行j列の画素データが支持部材２でなければ補正処理４を終了する（ステップS５０５：NO）。

【0055】

次に図３のフローに戻って、制御部６は画素の位置がi行（j+1）列の画素データが支持部材２であるかどうか判定し（ステップS１０９）、もし画素の位置がi行
（j+1）列の画素データが支持部材２であれば（ステップS１０９：YES）変数jについて１を加算し（ステップS１１０）、ステップS１０５からの処理を繰り返してi行（j+1）列の画素データの値を算出する。もし画素の位置がi行（j+1）列の画素データが支持部材２でなければ支持部材２の全ての画素データの補正が完了したので、補正処理を終了する（ステップS１０９：NO）。

【0056】

以上のフローにより、左上から時計回りで螺旋状に進行して、支持部材２の部分についての全ての画素データを求めることができる。図９はこの進行順序を説明した図である。

【0057】

次に、図１０のフローチャートを参照して、パノラマカメラ３が実行する支持部材２に関する異なる補正処理の仕方について説明する。

【0058】

まず、制御部６は本処理を実行するためのプログラムを記憶部７から読み出して処理を開始し、あらかじめ記憶部７に格納されている支持部材２の画素階調データを読み出してきて、撮影画像のうち当該画素階調データと同一部分を探し、支持部材２が写っている部分を特定する（ステップS６０１）。

【0059】

制御部６はステップS６０１の処理を完了すると、支持部材２の部分と支持部材２の周囲上下左右５画素分の画像データを収集し、記憶部７に格納する（ステップS６０２）。ここで、画素の配置の具体例を図１１に示す。なお、１つのマス目は１つの画素を表している。

【0060】

制御部６はステップS６０２の処理を完了すると、収集されて記憶部７に格納された各画素の位置座標と画素階調データに基づいて重心位置を演算する（ステップS６０３）。

【0061】

重心位置（I行J列）は、例えば次の演算式で求める。

【0062】

I＝Σ｛（各画素のi）×（各画素の階調値）｝/（各画素の階調値の合計）
J＝Σ｛（各画素のj）×（各画素の階調値）｝/（各画素の階調値の合計）

【0063】

ここで、重心位置の計算例を示す。１行目１列目の画素の階調データ（１６進数６桁）が０００００１、１行目２列目の画素の階調データが０００００１、２行目１列目の画素の階調データが０００００２、２行目２列目の画素の階調データが０００００２である４つの画素について重心位置を考えると、
I＝00000A/000006＝1.A・・・（１０進数で表現すると5/3）、
J＝000009/000006=1.8（１０進数で表現すると1.5）
となる。

【0064】

制御部６はステップS６０３の処理を完了すると、重心位置における理想的なディザリングによる画素階調となるように支持部材２の部分の各画素における理想的なディザリングによる画素階調を求め、支持部材２の部分が周りにとけ込んで判別しにくいように画像処理する（ステップS６０４）。

【0065】

制御部６はステップS６０３の処理を完了すると、補正処理を終了する。

【0066】

なお、上述した各実施形態では、パノラマ撮影装置1としてパノラマカメラ３とスマートフォン５を備えたものについて説明したが、本発明は必ずしもスマートフォン５を備えていなくてもよく、パノラマカメラ３は無線に代えて配線を介してリモート撮影してもよい。また、パノラマカメラ３で撮影したパノラマ画像のメモリをパノラマカメラ３から取り出してパソコンやプリンタ等で再生するようにしてもよい。

【0067】

また、本体の両面に魚眼レンズ４を設けたパノラマカメラ３に代えて、一方の面にのみ魚眼レンズ等の各種レンズを設けたパノラマカメラ等であってもよい。さらに、多方面に魚眼レンズ等の各種レンズを設けたパノラマカメラ等であってもよい。

【符号の説明】

【0068】

１ パノラマ撮影装置
２ 自立型一脚支持部材
３ パノラマカメラ
４ 魚眼レンズ
５ スマートフォン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】