IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社フジタの特許一覧

特許7574110画像処理装置、画像処理方法及び画像処理プログラム
<>
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図1
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図2
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図3
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図4
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図5
  • 特許-画像処理装置、画像処理方法及び画像処理プログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20241021BHJP
   G06T 5/94 20240101ALI20241021BHJP
【FI】
H04N23/60 500
G06T5/94
【請求項の数】 6
(21)【出願番号】P 2021038150
(22)【出願日】2021-03-10
(65)【公開番号】P2022138333
(43)【公開日】2022-09-26
【審査請求日】2023-12-01
(73)【特許権者】
【識別番号】302060926
【氏名又は名称】株式会社フジタ
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(74)【代理人】
【識別番号】100166408
【弁理士】
【氏名又は名称】三浦 邦陽
(72)【発明者】
【氏名】山口 瞳
(72)【発明者】
【氏名】園木 匠
(72)【発明者】
【氏名】久保田 善経
(72)【発明者】
【氏名】福留 貴浩
【審査官】辻本 寛司
(56)【参考文献】
【文献】特開2008-148180(JP,A)
【文献】特開2007-180851(JP,A)
【文献】特開平10-136255(JP,A)
【文献】特開2009-182599(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
G06T 5/94
(57)【特許請求の範囲】
【請求項1】
画像を複数の画素に分割する分割部と、
前記複数の画素のうち、飽和閾値以上の画素を置換画素に置換する置換部と、
前記複数の画素のうち、前記飽和閾値未満の画素の第1の中央値を算出する第1の中央値算出部と、
前記複数の画素のうち、前記飽和閾値未満の画素を、前記第1の中央値と異なる第2の中央値を基準とした画素に変換する変換部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記変換部は、前記複数の画素の前記飽和閾値未満の画素のうち、前記第1の中央値より小さい画素値の画素を前記第2の中央値より小さい画素値の画素に変換し、前記第1の中央値以上の画素値の画素を前記第2の中央値以上の画素値の画素に変換する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記置換画素の画素値の半分の値として前記第2の中央値を算出する第2の中央値算出部を有する、
ことを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記第1の中央値算出部は、メディアンフィルタ処理により、前記第1の中央値を算出する、
ことを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。
【請求項5】
画像を複数の画素に分割する工程と、
前記複数の画素のうち、飽和閾値以上の画素を置換画素に置換する工程と、
前記複数の画素のうち、前記飽和閾値未満の画素の第1の中央値を算出する工程と、
前記複数の画素のうち、前記飽和閾値未満の画素を、前記第1の中央値と異なる第2の中央値を基準とした画素に変換する工程と、
を有することを特徴とする画像処理方法。
【請求項6】
画像を複数の画素に分割する工程と、
前記複数の画素のうち、飽和閾値以上の画素を置換画素に置換する工程と、
前記複数の画素のうち、前記飽和閾値未満の画素の第1の中央値を算出する工程と、
前記複数の画素のうち、前記飽和閾値未満の画素を、前記第1の中央値と異なる第2の中央値を基準とした画素に変換する工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、RAW画像の階調調整に好適なゲインマップを少ない処理負荷で生成することを目的とした階調変換装置が開示されている。この階調変換装置は、画像入力部と、代表値処理部と、ゲインマップ生成部と、階調変換部とを有している。画像入力部は、RAW画像を取り込む。代表値処理部は、RAW画像の画像領域を複数の部分領域に分け、部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。階調変換部は、ゲインマップに基づいて、RAW画像の階調変換を行う。
【0003】
また、例えば、車載向け画像処理において、夜間や陸橋を通過する時のダイナミックレンジ補正等のアルゴリズムが検討されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2007-180851号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の画像処理技術は、撮影状況にかかわらずに視認性の高い画像を得るという観点において、改良の余地があった。
【0006】
本発明は、以上の問題意識に基づいてなされたものであり、撮影状況にかかわらずに視認性の高い画像を得ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本実施形態の画像処理装置は、画像を複数の画素に分割する分割部と、前記複数の画素のうち、飽和閾値以上の画素を置換画素に置換する置換部と、前記複数の画素のうち、前記飽和閾値未満の画素の第1の中央値を算出する第1の中央値算出部と、前記複数の画素のうち、前記飽和閾値未満の画素を、前記第1の中央値と異なる第2の中央値を基準とした画素に変換する変換部と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、撮影状況にかかわらずに視認性の高い画像を得ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
図1】本実施形態の画像処理装置を搭載したロボットの一例を示す外観構成図である。
図2】制御部の内部構成要素の一例を示す機能ブロック図である。
図3】本実施形態の画像処理の各工程の一例を示す図である。
図4】本実施形態の画像処理の各演算の一例を示す図である。
図5】本実施形態の画像処理の一例を示すフローチャートである。
図6】本実施形態の画像処理を施した画像と比較例の画像の一例を示す概念図である。
【発明を実施するための形態】
【0010】
図1は、本実施形態の画像処理装置を搭載した無人移動体(ロボット、UAV(unmanned aerial vehicle)10)等の一例として示すロボット10の外観構成図である。
【0011】
ロボット10は、例えば、建築現場や土木現場等に設置されて、当該設置現場内を移動しながら監視を行う機能を有している。ロボット10は、本体部11と、キャタピラ部12と、頭部13とを有している。本体部11の下部にキャタピラ部12が連結されており、本体部11の上部に頭部13が連結されている(連結部は省略して描いている)。
【0012】
本体部11には、ロボット10の機能構成要素を含む制御部11Xが格納されている。制御部11Xは、例えば、CPU(Central Processing Unit)を含んで構成されている。制御部11Xに含まれる機能構成要素については後に詳細に説明するが、制御部11Xは、例えば、クラウドやサーバ(図示略)との間で各種のデータや信号の送受信や処理を行ったり、ロボット10によって撮影した画像に各種の画像処理を施したりする機能を有している。すなわち、制御部11Xは、本実施形態の画像処理装置(ダイナミックレンジ補正装置、階調補正装置)を含んで構成されている。
【0013】
キャタピラ部12は、ロボット10の設置現場内を移動(走行)する機能を持つ。キャタピラ部12によるロボット10の移動制御(走行制御)は、例えば、クラウドやサーバ(図示略)からの自律移動操作命令(自律走行操作命令)に基づいて実行される。
【0014】
頭部13は、ロボット10の設置現場内を撮影する撮影部13Xを有している。ここでは、ロボット10の頭部13の両目に相当する位置に設けられた撮影レンズ(カメラレンズ)が撮影部13Xを構成する場合を例示している。撮影部13Xを介して撮像素子(図示略)に結像した被写体像が撮影画像(信号)として、制御部11Xに入力される。
【0015】
このように、設置現場内を移動するロボット10にカメラを搭載させて、画像や動画を撮影したり、リアルタイムに設置現場を把握したり、その撮影画像や把握状況をクラウドやサーバ(図示略)に保管することができる。撮影した画像や動画は、例えば、設置現場内の巡回監視、事務所からの遠隔監視、事務所から作業員への遠隔対応(コミュニケーション)、作業の進捗管理、現場内リアルタイムモニタリング等に利用することができる。
【0016】
なお、ここでは、設置現場内を移動しながら監視を行う無人移動体に本実施形態の画像処理装置を搭載する場合を例示して説明したが、本実施形態の画像処理装置の適用対象はこれに限定されない。本実施形態の画像処理装置は、例えば、セキュリティカメラや監視カメラ等の固定式の撮影装置に搭載されてもよいし、デジタルカメラや各種端末等の可搬式の撮影装置に搭載されてもよい。また、本実施形態の画像処理装置は、撮影装置やその他の装置から有線、無線で伝送された画像、各種記憶媒体に記憶された画像に対して画像処理を施すことに特化されたものでもよい。すなわち、本実施形態の画像処理装置の態様には自由度があり、各種の設計変更が可能である。
【0017】
図2は、制御部(画像処理装置、ダイナミックレンジ補正装置、階調補正装置)11Xの内部構成要素の一例を示す機能ブロック図である。本実施形態の画像処理方法及び画像処理プログラムは、制御部11Xを構成するコンピュータ(CPU)に各種の処理工程(処理ステップ)を実行させることにより実現される。
【0018】
制御部11Xは、分割部11Aと、置換部11Bと、第1の中央値算出部11Cと、第2の中央値算出部11Dと、変換部11Eとを有している。
【0019】
分割部11Aは、撮影部13Xによって撮影した画像を複数の画素に分割する。図3Aは、分割部11Aによって分割された複数の画素を示している。図3Aでは、説明の簡単化を図るべく、9つの画素1-1、1-2、1-3、2-1、2-2、2-3、3-1、3-2、3-3を例示して描いている。
【0020】
置換部11Bは、複数の画素のうち、飽和閾値S1以上の画素を置換画素V1に置換する。図3Bは、置換部11Bによって置換された画素を示している。図3Bでは、9つの画素のうち、2つの画素1-1、3-2が飽和閾値S1以上となっており、2つの画素1-1、3-2を置換画素V1に置換する場合を例示して描いている。飽和閾値S1と置換画素V1の各値をどのように設定するかには自由度があり、例えば、画素値の微分値が急激に大きくなる箇所を基準として予め定めてもよいし、撮影環境(例えば輝度分布)に応じてリアルタイム(動的)に変動させてもよい。
【0021】
第1の中央値算出部11Cは、複数の画素のうち、飽和閾値S1未満の画素daの第1の中央値m1を算出する。図3Bの例では、飽和閾値S1未満の画素daは、7つの画素1-2、1-3、2-1、2-2、2-3、3-1、3-3が相当する。第1の中央値算出部11Cは、メディアンフィルタ処理により、第1の中央値m1を算出する。より具体的に、第1の中央値算出部11Cは、飽和閾値S1未満の画素da(7つの画素1-2、1-3、2-1、2-2、2-3、3-1、3-3)について、注目画素と周辺画素を設定し、その注目画素と周辺画素に基づく演算により第1の中央値m1を算出する、二次元メディアンフィルタ処理又は三次元メディアンフィルタ処理を実行する。その際、飽和閾値S1以上であるために置換画素V1に置換された2つの画素1-1、3-2については、当該画素を使用せず、あるいは、当該画素を任意の演算手法により補完した補完画素として使用してもよい。
【0022】
第2の中央値算出部11Dは、第1の中央値m1と異なる第2の中央値m2を算出する。例えば、第2の中央値算出部11Dは、置換画素V1の画素値の半分の値V1/2として、第2の中央値m2を算出することが好ましい。第2の中央値算出部11Dが第2の中央値m2をどのように算出するかには自由度があり、種々の設計変更が可能である。また、理論的には、第1の中央値算出部11Cが算出した第1の中央値m1と第2の中央値算出部11Dが算出した第2の中央値m2が同じ値となることがあり得るが、この場合であっても、第1の中央値m1と第2の中央値m2は、第1の中央値算出部11Cと第2の中央値算出部11Dが別々に算出した異なる中央値に相当し得る。
【0023】
変換部11Eは、複数の画素のうち、飽和閾値S1未満の画素da(7つの画素1-2、1-3、2-1、2-2、2-3、3-1、3-3)を、第1の中央値m1と異なる第2の中央値m2を基準とした画素dbに変換する。
【0024】
より具体的に、変換部11Eは、複数の画素の飽和閾値S1未満の画素da(7つの画素1-2、1-3、2-1、2-2、2-3、3-1、3-3)のうち、第1の中央値m1より小さい画素値の画素da1を第2の中央値m2より小さい画素値の画素db1に変換し、第1の中央値m1以上の画素値の画素da2を第2の中央値m2以上の画素値の画素db2に変換する。
【0025】
図3Cは、変換部11Eによって変換された画素を示している。図3Cでは、複数の画素の飽和閾値S1未満の画素da(7つの画素1-2、1-3、2-1、2-2、2-3、3-1、3-3)のうち、画素1-2、1-3、2-3、3-1が第1の中央値m1より小さい画素値の画素da1となっており、画素2-1、2-2、3-3が第1の中央値m1以上の画素値の画素da2となっている。そして、画素1-2、1-3、2-3、3-1の第1の中央値m1より小さい画素値の画素da1が、第2の中央値m2より小さい画素値の画素db1に変換され、画素2-1、2-2、3-3の第1の中央値m1以上の画素値の画素da2が、第2の中央値m2以上の画素値の画素db2に変換されている。
【0026】
ここで、変換部11Eによる変換後の画素db1、db2をどのように設定するかには自由度があり、種々の設計変更が可能である。例えば、第2の中央値m2をパラメータとした所定の演算式に基づいて予め定めてもよいし、撮影環境(例えば輝度分布)に応じてリアルタイム(動的)に変動させてもよい。
【0027】
図4は、本実施形態の画像処理の各演算の一例を示す図である。図4において、Rは画像中の最大画素値を意味している。また、図4において、S2は置換画素V1の画素値を意味しており、ここではRと同じ場合を例示している(S2=R)。
【0028】
図4において、複数の画素の飽和閾値S1以上の画素を置換画素V1に置換することが条件式(1)で表現されている。すなわち、座標(x、y)に存在するS1より大きな画素値を有する画素を画素dsと定義すると、その座標(x、y)に存在する画素dsは、画素値S2を有する画素v1に変換される。
【0029】
図4において、複数の画素の飽和閾値S1未満の画素daのうち、第1の中央値m1より小さい画素値の画素da1が、第2の中央値m2より小さい画素値の画素db1に変換されることが、条件式(2)で表現されている。すなわち、座標(x、y)に存在するm1より小さな画素値を有する画素を画素da1と定義すると、その座標(x、y)に存在する画素da1は、画素値m2/m1*da1(x、y)を有する画素db1に変換される。
【0030】
図4において、複数の画素の飽和閾値S1未満の画素daのうち、第1の中央値m1以上の画素値の画素da2が、第2の中央値m2以上の画素値の画素db2に変換されることが、条件式(3)で表現されている。すなわち、座標(x、y)に存在するm1以上の画素値を有する画素を画素da2と定義すると、その座標(x、y)に存在する画素da2は、画素値(S2-m2)/(S1-m1)*(da2(x、y)-m1)+m2を有する画素db2に変換される。
【0031】
図5は、本実施形態の画像処理の一例を示すフローチャートである。図5の各処理工程(各処理ステップ)の実行主体は、主に制御部(画像処理装置)11Xを構成するコンピュータ(CPU)である。
【0032】
ステップST1では、撮影部13Xにより撮影した画像を取得する。ステップST2では、画像処理に必要な各種の初期設定を行う。
【0033】
ステップST3では、ステップST1で取得した画像を分割した複数の画素のうち飽和閾値S1以上の画素である飽和画素dsのアドレスを抽出・記憶する。
【0034】
ステップST4では、ステップST1で取得した画像を分割した複数の画素のうち飽和閾値S1未満の残りの画素daの第1の中央値m1を算出する。
【0035】
ステップST5では、複数の画素のうち飽和閾値S1未満の画素daを、第1の中央値m1と異なる第2の中央値m2を基準とした画素dbに変換する。具体的に、複数の画素の飽和閾値S1未満の画素daのうち、第1の中央値m1より小さい画素値の画素da1を第2の中央値m2より小さい画素値の画素db1に変換し、第1の中央値m1以上の画素値の画素da2を第2の中央値m2以上の画素値の画素db2に変換する。ここで、一巡目のループにおけるステップST5では、デフォルト設定された第2の中央値m2を使用することができる。後述するように、第2の中央値m2はステップST9で設定(更新)されるので、二巡目以降のループにおけるステップST5では、ステップST9で設定(更新)された第2の中央値m2を使用することができる。
【0036】
ステップST6では、複数の画素のうち飽和閾値S1以上の画素である飽和画素dsを置換画素V1に置換する。ここで、一巡目のループにおけるステップST6では、デフォルト設定された置換画素V1を使用することができる。後述するように、置換画素V1はステップST9で設定(更新)されるので、二巡目以降のループにおけるステップST6では、ステップST9で設定(更新)された置換画素V1を使用することができる。
【0037】
ステップST7では、画像を表示する。ステップST8では、ステップST7で表示した画像にトリミングが必要か否かを判定する。トリミングが必要だと判定した場合(ステップST8:Yes)は、ステップST9に進む。トリミングが不要だと判定した場合(ステップST8:No)は、ステップST10に進む。
【0038】
ステップST9では、第2の中央値m2と置換画素V1を設定(更新)して、ステップST5に戻る。このようにして、ステップST8でトリミングが不要だと判定されるまで、第2の中央値m2と置換画素V1を設定(更新)しながら、ステップST5~ステップST9の工程(処理ステップ)を繰り返す。
【0039】
ステップST10では、画像を保存するか否かを判定する。画像を保存すると判定した場合(ステップST10:Yes)、ステップST11に進んで画像を保存した上で、処理を終了する。画像を保存しないと判定した場合(ステップST10:No)、画像を保存することなく、処理を終了する。
【0040】
このように、本実施形態では、複数の画素のうち、飽和閾値S1以上の画素を置換画素V1に置換し、複数の画素のうち、飽和閾値S1未満の画素daの第1の中央値m1を算出し、複数の画素のうち、飽和閾値S1未満の画素daを、第1の中央値m1と異なる第2の中央値m2を基準とした画素dbに変換する。また、複数の画素の飽和閾値S1未満の画素daのうち、第1の中央値m1より小さい画素値の画素da1を第2の中央値m2より小さい画素値の画素db1に変換し、第1の中央値m1以上の画素値の画素da2を第2の中央値m2以上の画素値の画素db2に変換する。
【0041】
これにより、撮影状況にかかわらずに視認性の高い画像を得ることができる。特に、画像内の低階調領域を好適にダイナミックレンジ補正あるいは階調補正することにより、当該低階調領域を拡大変換して見やすくすることができる。つまり、低階調が多く含まれる領域の画素値は、飽和領域以外の画素値の中央値(第1の中央値)m1を中心としたガウス分布が、変換後の中央値(第2の中央値)m2を中心としたガウス分布に変換される。従って、高階調、低階調に偏りを持つ画像から、低階調領域のみを伸長した視認性の高い画像を得ることができる。
【0042】
例えば、屋内から画像を取得する場合、日光等の高輝度な外光(入射光)又は反射光の影響を受けて、室内の画像が低階調の画像になり記録として適さない傾向がある。特に、建築現場や土木現場等では、室内でコンクリート等が露出している面積が多く、もともと反射率が低い材料が多いため低階調の画像になりやすい。また、建築現場や土木現場等では、屋根が無い状況では屋外と同等の環境であるが、屋根がある状況になると、窓や壁ができていない状況であることから、極端に明るい箇所と極端に暗い箇所を含む画像・映像となることが多い。撮影する画像・動画は、日中を想定しているが、現場内は照明が弱いため、暗い箇所を多く含むとともに、極端に明るい箇所も含む画像・映像となりがちである。そのような状況の中で、作業進捗、工程進捗の管理のために画像を取得する場合、外光又は反射光が一部でも画角に入ると、その影響により低階調の領域は更に階調つぶれが発生する場合がある。よって記録として残す画像として適さないことが懸念される。
【0043】
本実施形態では、上記のような技術課題を解決して、撮影状況(例えば、屋内外、輝度の高低、建築現場や土木現場等の撮影場所)にかかわらずに、とりわけ低階調領域の視認性に優れた画像を得ることができる。
【0044】
ちなみに、上述した特許文献1は、画素ブロック毎に求めた複数成分の色代表値を処理して1成分の代表値を求めており、ヒストグラムの情報が崩れないようにある範囲のものを拡大し、飽和領域が任意に設定されるものである。これに対して、本実施形態の画像処理(ダイナミックレンジ補正、階調補正)は、飽和領域以外の画素値の第1の中央値m1と、当該第1の中央値m1と異なる第2の中央値m2とに基づくものであり、ヒストグラムの情報が崩れないように変換しているわけではなく、あくまで低階調領域を第1の中央値m1と第2の中央値m2を中心にして広げていく点で、特許文献1の技術とは相違している(一線を画している)。
【0045】
図6A図6Bは、本実施形態の画像処理を施した画像と比較例の画像の一例を示す概念図である。図6Aが比較例の画像の一例を示す概念図であり、図6Bが本実施形態の画像処理を施した画像の一例を示す概念図である。図6Aよりも図6Bの方が、極端に明るい箇所と極端に暗い箇所が混在することがなく、とりわけ低階調領域の視認性に優れた画像であることが読み取れる。
【0046】
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、又は実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【符号の説明】
【0047】
10 ロボット
11 本体部
11X 制御部(画像処理装置、ダイナミックレンジ補正装置、階調補正装置)
11A 分割部
11B 置換部
11C 第1の中央値算出部
11D 第2の中央値算出部
11E 変換部
12 キャタピラ部
13 頭部
13X 撮影部(撮影レンズ、カメラレンズ)
図1
図2
図3
図4
図5
図6