(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-168079(P2017-168079A)
(43)【公開日】2017年9月21日
(54)【発明の名称】書き込みボード検出及び補正
(51)【国際特許分類】
G06T 7/60 20170101AFI20170825BHJP
G06T 3/00 20060101ALI20170825BHJP
H04N 5/232 20060101ALI20170825BHJP
【FI】
G06T7/60 200K
G06T3/00 755
H04N5/232 290
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
【全頁数】18
(21)【出願番号】特願2016-241085(P2016-241085)
(22)【出願日】2016年12月13日
(31)【優先権主張番号】14/975,531
(32)【優先日】2015年12月18日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】507031918
【氏名又は名称】コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】ファン, ガン
【テーマコード(参考)】
5B057
5C122
5L096
【Fターム(参考)】
5B057AA20
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CD12
5B057CE09
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB09
5B057DC07
5B057DC16
5C122DA04
5C122DA09
5C122EA61
5C122FH04
5C122FH07
5C122FH11
5C122HA88
5C122HB01
5L096AA06
5L096BA20
5L096CA02
5L096DA01
5L096FA03
5L096FA24
5L096FA66
5L096FA69
5L096GA51
5L096HA13
5L096JA18
5L096MA03
(57)【要約】 (修正有)
【課題】ホワイトボード、黒板など、書き込みボードの遠近感を補正する画像処理方法を提供する。
【解決手段】書き込みボードと、書き込みボードの外側の背景と、を含む画像を取得する工程と、画像内の複数の線を検出する工程と、複数の線に基づいて、画像内の書き込みボードの複数のコーナーを決定する工程と、複数のコーナーに基づく変換を画像に適用して書き込みボードの遠近感を補正する工程と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する工程と、
前記画像内の複数の線を検出する工程と、
前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する工程と、
前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する工程と、
を備える画像処理方法。
【請求項2】
前記複数の線から線を選択する工程と、
前記線の第1側の第1の複数の画素の第1の複数の強度値を特定する工程と、
前記線の第2側の第2の複数の画素の第2の複数の強度値を特定する工程と、
前記第1の複数の画素の値と前記第2の複数の画素の値に基づいて、前記線は前記書き込みボード上に位置すると判定する工程と、
前記複数のコーナーを決定する前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除く工程と、
を更に備えることを特徴とする請求項1に記載の方法。
【請求項3】
前記線の前記第1側から前記第2側に渡る複数の細長片を生成する工程を更に備え、
前記複数の細長片は、前記第1の複数の画素のサブセットと、前記第2の複数の画素のサブセットと、を有する細長片を含み、
前記第1の複数の画素の前記サブセットについて、第1の統計的強度値を算出する工程と、
前記第2の複数の画素の前記サブセットについて、第2の統計的強度値を算出する工程と、
前記第1の統計的強度値と前記第2の統計的強度値の比較結果を生成する工程と、
前記比較結果に基づいて、前記細長片は均一強度細長片であると判定する工程と、を更に備え、
前記線は前記書き込みボード上に位置すると判定する工程は、前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較する工程を備えることを特徴とする請求項2に記載の方法。
【請求項4】
前記第1側は前記線の上側であり、
前記第2側は前記線の下側であり、
前記閾値は前記複数の細長片の1/3であることを特徴とする請求項3に記載の方法。
【請求項5】
前記複数の線から線を選択する工程と、
前記線上の複数のサンプル点を算出する工程と、
前記画像内で基準点を選択する工程と、
前記基準点から前記複数のサンプル点までの複数のリンクを生成する工程と、
前記複数のリンクについて、複数のリンク交点を特定する工程と、
前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定する工程と、
前記複数のコーナーを決定する前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除く工程と、
を更に備えることを特徴とする請求項1に記載の方法。
【請求項6】
前記基準点は前記画像の中心であることを特徴とする請求項5に記載の方法。
【請求項7】
前記線は長さを有し、
前記複数のサンプル点は複数の間隔で隔てられ、
前記複数の間隔は、前記線の前記長さの1/10、1/5、1/4及び1/16からなる群から選択される少なくとも1つであることを特徴とする請求項5又は6に記載の方法。
【請求項8】
前記複数のコーナーを決定する工程は、
前記複数の線を濃度が4の複数の群に分ける工程と、
前記複数の群から第1の4本の線のセットを選択する工程と、
前記第1の4本の線のセットについて、第1の複数の交点を算出する工程と、
を更に備えることを特徴とする請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記複数のコーナーを決定する工程は、
前記複数の群から第2の4本の線のセットを選択する工程と、
前記第2の4本の線のセットについて、第2の複数の交点を算出する工程と、
前記第1の4本の線のセットを選択する前に、前記第2の複数の交点は四角形の原理に反すると判定する工程と、
を更に備えることを特徴とする請求項8に記載の方法。
【請求項10】
前記第1の複数の交点及び前記第1の4本の線のセットの線間の複数の距離に基づいて、前記変換を算出する工程を更に備えることを特徴とする請求項8又は9に記載の方法。
【請求項11】
前記複数の線を検出する前に、前記画像をダウンサンプリングする工程を更に備え、
前記書き込みボードはホワイトボードであることを特徴とする請求項1から10のいずれか一項に記載の方法。
【請求項12】
書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する処理と、
前記画像内の複数の線を検出する処理と、
前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する処理と、
前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する処理と、
をコンピューターに実行させるプログラム。
【請求項13】
前記複数の線から線を選択する処理と、
前記線の第1側から第2側に渡る複数の細長片を生成する処理と、
細長片内に位置する、前記線の前記第1側の第1の複数の画素について、第1の統計的強度値を算出する処理と、
前記細長片内に位置する、前記線の前記第2側の第2の複数の画素について、第2の統計的強度値を算出する処理と、
前記第1の統計的強度値と前記第2の統計的強度値の比較結果を生成する処理と、
前記比較結果に基づいて、前記細長片は均一強度細長片であると判定する処理と、
前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較して、前記線は前記書き込みボード上に位置すると判定する処理と、
前記複数のコーナーを決定する前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除く処理と、
を更に前記コンピューターに実行させることを特徴とする請求項12に記載のプログラム。
【請求項14】
前記複数の線から線を選択する処理と、
前記線上の複数のサンプル点を算出する処理と、
前記画像内で基準点を選択する処理と、
前記基準点から前記複数のサンプル点までの複数のリンクを生成する処理と、
前記複数のリンクについて、複数のリンク交点を特定する処理と、
前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定する処理と、
前記複数のコーナーを決定する前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除く処理と、
を更に前記コンピューターに実行させることを特徴とする請求項12に記載のプログラム。
【請求項15】
前記複数の線を濃度が4の複数の群に分ける処理と、
前記複数の群から第1の4本の線のセットを選択する処理と、
前記第1の4本の線のセットについて、第1の複数の交点を算出する処理と、
前記第1の複数の交点は四角形の原理に反すると判定する処理と、
前記第1の複数の交点は四角形の原理に反すると判定した後に、前記複数の群から第2の4本の線のセットを選択する処理と、
前記第2の4本の線のセットについて、第2の複数の交点を算出する処理と、
前記第2の複数の交点及び前記第2の4本の線のセットの線間の複数の距離に基づいて、前記変換を算出する処理と、
を更に前記コンピューターに実行させることを特徴とする請求項12から14のいずれか一項に記載のプログラム。
【請求項16】
書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を記憶するバッファーと、
前記画像内の複数の線を検出するラインプロセッサーと、
前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定するコーナー検出器と、
前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する補正エンジンと、
を備える画像処理システム。
【請求項17】
前記ラインプロセッサーは、更に
前記複数の線から線を選択し、
前記線の第1側から第2側に渡る複数の細長片を生成し、
細長片内に位置する、前記線の前記第1側の第1の複数の画素について、第1の統計的強度値を算出し、
前記細長片内に位置する、前記線の前記第2側の第2の複数の画素について、第2の統計的強度値を算出し、
前記第1の統計的強度値と前記第2の統計的強度値の比較結果を生成し、
前記比較結果に基づいて、前記細長片は均一強度細長片であると判定し、
前記複数の細長片のうちの均一強度細長片の濃度と閾値を比較して、前記線は前記書き込みボード上に位置すると判定し、
前記複数のコーナーが決定される前に、前記線は前記書き込みボード上に位置するとの判定に応じて、当該線を前記複数の線から取り除くことを特徴とする請求項16に記載のシステム。
【請求項18】
前記ラインプロセッサーは、更に、
前記複数の線から線を選択し、
前記線上の複数のサンプル点を算出し、
前記画像内で基準点を選択し、
前記基準点から前記複数のサンプル点までの複数のリンクを生成し、
前記複数のリンクについて、複数のリンク交点を特定し、
前記複数のリンク交点の濃度に基づいて、前記線は前記画像の前記背景内に位置すると判定し、
前記複数のコーナーが決定される前に、前記線は前記書き込みボードの外側の前記背景内に位置するとの判定に応じて、当該線を前記複数の線から取り除くことを特徴とする請求項16に記載のシステム。
【請求項19】
前記コーナー検出器は、
前記複数の線を濃度が4の複数の群に分け、
前記複数の群から第1の4本の線のセットを選択し、
前記第1の4本の線のセットについて、第1の複数の交点を算出し、
前記第1の複数の交点は四角形の原理に反すると判定し、
前記第1の複数の交点は四角形の原理に反すると判定した後に、前記複数の群から第2の4本の線のセットを選択し、
前記第2の4本の線のセットについて、第2の複数の交点を算出することを特徴とする請求項16から18のいずれか一項に記載のシステム。
【請求項20】
前記補正エンジンは、前記第2の複数の交点及び前記第2の4本の線のセットの線間の複数の距離に基づいて、前記変換を算出することを特徴とする請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、書き込みボード検出及び補正に関する。
【背景技術】
【0002】
書き込みボード(例えば、ホワイトボード、黒板など)は、様々な環境(例えば、学校、会社、非営利組織、住宅など)で頻繁に使用される。例えば、講義、トレーニング、ブレインストーミングセッション中などに、書き込みボード上に、文章、図、チャート、グラフなどを配置して、アイディアを伝える。これらアイディアを電子的に記憶するため、書き込みボードを撮影し、画像処理(例えば、光学式文字認識(OCR))を行って、画像から書き込みボードの内容を抽出する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
(例えば、カメラ付きスマートフォンを用いて)前述の撮影を行うと、画像に、書き込みボードの外側の背景が含まれている場合がある。また、画像に、書き込みボードが歪んだ遠近感で写っている場合がある。これら背景と遠近感の歪みによって画像処理が複雑になり、書き込みボードの内容をうまく抽出できないことが多い。それでもなお、ユーザーは、書き込みボードを撮影して、書き込みボード上のアイディアを記憶することを望んでいる。
【課題を解決するための手段】
【0004】
主として、一側面において、本発明は、画像処理方法に関する。該方法は、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する工程と、前記画像内の複数の線を検出する工程と、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する工程と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する工程と、を備える。
【0005】
主として、一側面において、本発明は、画像処理プログラムに関する。該プログラムは、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を取得する処理と、前記画像内の複数の線を検出する処理と、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定する処理と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する処理と、をコンピューターに実行させる。
【0006】
主として、一側面において、本発明は、画像処理システムに関する。該システムは、書き込みボードと、当該書き込みボードの外側の背景と、を含む画像を記憶するバッファーと、前記画像内の複数の線を検出するラインプロセッサーと、前記複数の線に基づいて、前記画像内の前記書き込みボードの複数のコーナーを決定するコーナー検出器と、前記複数のコーナーに基づく変換を前記画像に適用して前記書き込みボードの遠近感を補正する補正エンジンと、を備える。
【0007】
本発明のその他の側面は、以下の説明及び添付の特許請求の範囲から明らかである。
【図面の簡単な説明】
【0008】
【
図1】本発明の一以上の実施形態に係るシステムを示す。
【
図2】本発明の一以上の実施形態に係るフローチャートを示す。
【
図3】本発明の一以上の実施形態に係るフローチャートを示す。
【
図4】本発明の一以上の実施形態に係るフローチャートを示す。
【
図5A】本発明の一以上の実施形態に係る実施例を示す。
【
図5B】本発明の一以上の実施形態に係る実施例を示す。
【
図5C】本発明の一以上の実施形態に係る実施例を示す。
【
図5D】本発明の一以上の実施形態に係る実施例を示す。
【
図5E】本発明の一以上の実施形態に係る実施例を示す。
【
図5F】本発明の一以上の実施形態に係る実施例を示す。
【
図6】本発明の一以上の実施形態に係るコンピューターシステムを示す。
【発明を実施するための形態】
【0009】
本発明の具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図に示される同様の構成要素は、一貫性を保つため、同様の参照符号で示す。
【0010】
以下の本発明の実施形態の詳細な説明には、本発明がより完璧に理解されるよう、数多くの具体的な詳細を記す。しかし、当業者にとっては、これら具体的な詳細がなくとも本発明が実施可能であることは明らかであろう。また、不必要に複雑な説明となるのを避けるため、周知の特徴に関しては詳細な説明は省略する。
【0011】
主として、本発明の実施形態は、画像処理方法、画像処理プログラム及び画像処理システムを提供する。まず、書き込みボードと、書き込みボードの外側の背景の少なくとも一部と、を含む画像を取得する。そして、画像内の線(例えば、エッジ)を検出する。そして、画像内の書き込みボード上に位置する線と画像の背景内に位置する線を特定し、除去する(すなわち、更なる検討から除外する)。残りの線のうちのいくつかを用いて、書き込みボードのコーナーを決定し、書き込みボードの遠近感の歪みをオフセットする変換を算出する。算出された変換を画像に適用して書き込みボードの遠近感の歪みを補正した後、更なる画像処理(例えば、OCR)を行って、書き込みボードの内容を抽出する。書き込みボードの遠近感の歪みを少なくとも部分的に先に補正することで、その後の画像処理(例えば、OCR)の成功する確率が高くなる。
【0012】
図1は、本発明の一以上の実施形態に係るシステム(100)を示す。
図1に示すように、システム(100)は複数の構成要素(例えば、バッファー(104)、ラインプロセッサー(114)、コーナー検出器(110)、補正エンジン(108))を有する。これら構成要素(104、108、110、114)は、同一のコンピューティングデバイス(例えば、パーソナルコンピューター(PC)、ラップトップ、タブレットPC、スマートフォン、サーバー、メインフレーム、ケーブルボックス、キオスクなど)に配置されても、任意のサイズ、及び有線及び/又は無線セグメントを有する任意のトポロジーのネットワークにより接続された複数の異なるコンピューティングデバイスに配置されてもよい。
【0013】
本発明の一以上の実施形態において、システム(100)はバッファー(104)を備える。バッファー(104)は、ハードウェア(例えば、回路)、ソフトウェア、又はこれらの組み合わせとして実装される。バッファー(104)は、画像(106)を記憶する。画像(106)は、書き込みボードと背景を含む。画像(106)の背景は、事実上、画像(106)内の書き込みボードに占領されていないエリアである。画像(106)には、書き込みボードが歪んだ遠近感で写っている。画像(106)は、任意のソースから得られる。例えば、画像(106)は、スマートフォンのデジタルカメラ(図示せず)から得られる。あるいは、画像(106)は、ネットワーク(例えば、インターネット)(図示せず)を介して得られる。あるいは、画像(106)は、ハードドライブ(図示せず)から得られる。画像(106)のサイズ及び解像度は任意である。本発明の一以上の実施形態において、バッファー(104)は、画像(106)をダウンサンプリングする。具体的には、バッファー(104)は、画像の解像度が所定の閾値を超える場合(例えば、画像(106)が高解像度画像である場合)に、画像(106)をダウンサンプリングする。バッファー(104)は、他の構成要素(例えば、108、110、114)が画像(106)を処理する間に、画像(106)を記憶する。
【0014】
本発明の一以上の実施形態において、システム(100)はラインプロセッサー(114)を備える。ラインプロセッサー(114)は、ハードウェア(例えば、回路)、ソフトウェア、又はこれらの組み合わせとして実装される。ラインプロセッサー(114)は、画像(106)に対してエッジ検出を行うように構成されている。すなわち、ラインプロセッサー(114)は、画像(106)内の線を検出するように構成されている。例えば、ラインプロセッサー(114)は、キャニー(Canny)アルゴリズム及び/又はハフ(Hough)変換を利用して画像(106)内の線を検出する。また、ラインプロセッサー(114)は、長さが不十分な線(すなわち、長さ閾値を超えない線)を除去する(すなわち、更なる検討から除外する)。また、ラインプロセッサー(114)は、各線を、略垂直又は略水平として分類する。
【0015】
本詳細な説明の恩恵に浴する当業者であれば、一以上の検出された線は画像内の書き込みボード上に位置し、一以上の検出された線は画像内の書き込みボードの外側の背景内に位置し、一以上の検出された線は画像(106)内の書き込みボードの輪郭(例えば、境界、周辺など)に相当し得ることを理解するであろう。
【0016】
本発明の一以上の実施形態において、ラインプロセッサー(114)は、画像(106)内の書き込みボード上に位置する線を特定し、除去する(すなわち、更なる検討から除外する)。本詳細な説明の恩恵に浴する当業者であれば、線が書き込みボード上に位置する場合、線の両側の画素が相似の強度値を有することを理解するであろう。したがって、ラインプロセッサー(114)は、選択された線が書き込みボード上にあると判定するために、線の両側の画素の強度値を比較する。この処理は、細長片の使用を含む(後述)。
【0017】
本発明の一以上の実施形態において、ラインプロセッサー(114)は、画像の背景内に位置する線を特定し、除去する(すなわち、更なる検討から除外する)。具体的には、ラインプロセッサー(114)は、選択された線上の複数のサンプル点を算出し、基準点(例えば、画像の中心)から各サンプル点までのリンクを生成する。リンクがサンプル点に到達する前に他の線と交差する場合、選択された線は画像(106)の背景内に位置すると判定する(後述)。
【0018】
一以上の実施形態において、システム(100)はコーナー検出器(110)を備える。コーナー検出器(110)は、ハードウェア(例えば、回路)、ソフトウェア、又はこれらの組み合わせとして実装される。コーナー検出器(110)は、画像(106)内の書き込みボードのコーナーを決定するように構成されている。これは、画像中心からの一般的な方位に基づいて、残りの線を4つの群に分ける工程を含む。各群において、線は、長さや画像(106)の中心までの近接度など様々な要素に基づいてランク付けされる。各群から1本、計4本の線を、ランクに基づいて選択し、これら4本の線の交点を算出する。算出された交点が四角形の原理(後述)に反しなければ、これら4つの交点は、画像(106)内の書き込みボードのコーナーと見なされる。
【0019】
本発明の一以上の実施形態において、システム(100)は補正エンジン(108)を備える。補正エンジン(108)は、ハードウェア(例えば、回路)、ソフトウェア、又はこれらの組み合わせとして実装される。補正エンジン(108)は、算出された交点及び4本の線の間の距離に基づいて、変換を算出するように構成されている(後述)。また、補正エンジン(108)は、算出された変換を画像(106)に適用して、画像(106)内の書き込みボードの遠近感の歪みをオフセット(すなわち、少なくとも部分的に補正)するように構成されている(後述)。本詳細な説明の恩恵に浴する当業者であれば、遠近感の歪みをオフセットすることで、画像(106)内の書き込みボードの内容を抽出するために画像(106)に対して行われる更なる処理(例えば、OCR)の成功する確率が高くなることを理解するであろう。
【0020】
図1は4つの構成要素(104、108、110、114)を有するシステム(100)を示しているが、システム(100)は、他の実施形態において、より多く又はより少ない構成要素を有し得る。例えば、システム(100)は、画像(106)を撮影するためのデジタルカメラ付きスマートフォンを備える。他の例では、システム(100)は、画像(106)に更なる処理(例えば、OCR)を行って画像(106)内の書き込みボードの内容を抽出するための追加のエンジンを備える。
【0021】
図2は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像処理のプロセスを示す。
図2に示す一以上のステップは、
図1を参照して説明したシステム(100)の構成要素により実行される。本発明の一以上の実施形態において、
図2に示す一以上のステップは、省略、繰り返し及び/又は
図2に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、
図2に示すステップの具体的な配列に限定されるものではない。
【0022】
まず、画像を取得する(ステップ205)。画像は、デジタルカメラから得られてもよい。あるいは、画像は、サーバーからダウンロードされてもよい。画像は、書き込みボード(例えば、ホワイトボード、黒板など)を含む。書き込みボードは、画像の中心を占める。画像は、書き込みボードの外側の背景も含む。背景は、書き込みボードの4辺全て又はいくつかに見られる。
【0023】
ステップ210において、画像をダウンサンプリングして、エッジの線状性を高める。本詳細な説明の恩恵に浴する当業者であれば、ステップ210がオプションであることを理解するであろう。
【0024】
ステップ215において、画像内の線を検出する。線は、線検出アルゴリズムを適用して検出される。例えば、キャニーアルゴリズム及び/又はハフ変換を画像に適用することにより、画像の線を検出する。線検出のための他のアルゴリズムを適用してもよい。検出された線のうち、長さ閾値を超えない線(すなわち、短い線)を、全て除去する(すなわち、更なる検討から除外する)。
【0025】
本詳細な説明の恩恵に浴する当業者であれば、一以上の検出された線は画像内の書き込みボード上に位置し、一以上の検出された線は画像内の書き込みボードの外側の背景内に位置し、一以上の検出された線は書き込みボードの境界に相当し得ることを理解するであろう。
【0026】
ステップ220において、画像内の書き込みボード上に位置する線を特定し、除去する(すなわち、更なる検討から除外する)。ステップ220の更なる詳細については、例えば、
図3及び
図5Cに示す。
【0027】
ステップ225において、画像の背景に位置する線を特定し、除去する(すなわち、更なる検討から除外する)。ステップ225の更なる詳細については、例えば、
図4及び
図5Dに示す。
【0028】
ステップ230において、残りの線を、画像の中心からの一般的な方位に基づいて、4つの群に分ける。各群において、線はランク付けされる。線は、例えば、長さ及び/又は画像中心までの近接度によってランク付けされる。1つの群に1本の線しか属さない場合もある。
【0029】
ステップ235において、4つの群各々から線を1本選択して、4本の線からなるセットを形成する。この選択はランダムに行われる。すなわち、各群から1本、ランダムに選択する。さらに又はあるいは、各群から1本、各群内における線のランクに基づいて選択する。例えば、各群の最高ランクの線を選択する。あるいは、各群の最低ランクの線を選択する。
【0030】
ステップ240において、4本の線の交点を算出する。本詳細な説明の恩恵に浴する当業者であれば、4本の線の交点を算出する工程は、4本のうち1本以上の線を、他の線と交差するまで延長する工程を含み得ることを理解するであろう。また、本詳細な説明の恩恵に浴する当業者であれば、交点は4つ存在し、各交点は座標で表現可能なことを理解するであろう。
【0031】
ステップ245において、算出された交点は四角形の原理に反するか否か判定する。算出された交点のうち1つ以上の交点が線分の中心の近く(すなわち、所定距離内)に位置する場合、算出された交点は四角形の原理に反する。さらに又はあるいは、1本の線上の2つの交点が線の片側に位置する場合、算出された交点は四角形の原理に反する。別の言い方をすると、上述したように、交点を算出するため、1本の線を両方向に延長(方向Aへの延長線及び方向Bへの延長線)して、他の線と交差させる場合がある。1本の線上の2つの交点が両方とも線の同一延長線上に位置する(すなわち、両方とも方向Aへの延長線上に位置する、又は両方とも方向Bへの延長線上に位置する)場合、算出された交点は四角形の原理に反する。算出された交点は四角形の原理に反しないと判定された場合、処理はステップ250に進む。一方、算出された交点は四角形の原理に反すると判定された場合、処理はステップ235に戻り、線のセット内の少なくとも1本の線を、同じ群の他の線に替える。
【0032】
ステップ250において、交点及び4本の線の間の距離に基づいて、変換を算出する。例えば、4本の線のセット内の一方の垂直な線の中点と他方の垂直な線の中点との距離をwとする。更に、4本の線のセット内の一方の水平な線の中点と他方の水平な線の中点との距離をhとする。算出される変換は、交点の座標を以下の座標に写像するアフィン変換である:(0,0)、(w,0)、(0,h)、(w,h)。本詳細な説明の恩恵に浴する当業者であれば、w/hがアスペクト比として用いられることを理解するであろう。
【0033】
ステップ255において、算出された変換を画像に適用して、遠近感の歪みを少なくとも部分的に補正する。変換適用後、画像内の書き込みボードの内容を抽出するために当該画像に対して行われる任意の処理(例えば、OCR)(ステップ260)の成功する確率は高くなる。本詳細な説明の恩恵に浴する当業者であれば、ステップ260がオプションであることを理解するであろう。
【0034】
図3は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像内の書き込みボード上に位置する線を特定する処理を示す。
図3に示す一以上のステップは、
図1を参照して説明したシステム(100)の構成要素により実行される。本発明の一以上の実施形態において、
図3に示す一以上のステップは、省略、繰り返し及び/又は
図3に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、
図3に示すステップの具体的な配列に限定されるものではない。なお、
図3に示す処理は、
図2を参照して説明したステップ220に相当する。
【0035】
まず、画像内で検出された線から線を1本選択する(ステップ305)。線は、検出された全ての線の中からランダムに選択される。さらに又はあるいは、線は、最も長い線であるため、最も短い線であるため、画像の中心に最も近いため、画像の中心から最も遠いためなど、任意の理由により選択されてもよい。
【0036】
ステップ310において、選択された線について、複数の細長片を生成する。選択された線が垂直として分類される場合、細長片は水平である。一方、選択された線が水平として分類される場合、細長片は垂直である。細長片は、線の一方側から他方側に渡る。各細長片は、線の各側の複数の(例えば、2、3、10など)画素を有する。例えば、選択された線が垂直として分類される場合、各細長片は水平であり、線の左側の3画素と右側の3画素を有する。他の例としては、選択された線が水平として分類される場合、各細長片は垂直であり、線の下側の3画素と上側の3画素を有する。
【0037】
ステップ315において、細長片ごとに、線の両側の画素の強度値を特定する。1つの細長片について、強度値は、線の側ごとにソートされる。例えば、水平な細長片において、線の左側の画素の強度値は、当該強度値間でソートされ、線の右側の画素の強度値は、当該強度値間でソートされる。
【0038】
ステップ320において、細長片ごとに、細長片における線の両側の統計的強度値を算出する。例えば、統計的強度値は、細長片における線の片側に位置する画素の平均強度値又は中央強度値に相当する。さらに又はあるいは、統計的強度値は、細長片における線の片側に位置する画素の40%強度値(I
40)及び60%強度値(I
60)に相当する。
【0039】
ステップ325において、均一強度細長片(UIS)を特定する。UISは、線の一方側の統計的強度値と線の他方側の統計的強度値が一致する(すなわち、等しい又は略等しい)細長片である。例えば、水平な細長片の場合、線の左側の画素のI
40値、I
60値と、線の右側の画素のI
40値、I
60値が各々一致する場合、当該細長片はUISと見なされる。他の例としては、垂直な細長片の場合、細長片における線の上側の画素の中央強度値と、細長片における線の下側の画素の中央強度値が一致する場合、当該細長片はUISと見なされる。
【0040】
ステップ330において、特定されたUISの数(すなわち、特定されたUISの濃度)は閾値を超えるか否か判定する。例えば、閾値は、選択された線の全細長片の1/3である。特定されたUISの数は閾値を超えると判定された場合、選択された線は、画像内の書き込みボード上に位置すると見なされる(ステップ335)。一方、特定されたUISの数は閾値を超えないと判定された場合、選択された線は、画像内の書き込みボード上に位置しないと見なされる(ステップ340)。
【0041】
本詳細な説明の恩恵に浴する当業者であれば、
図3に示す処理は、画像内で検出され、除去されていない(すなわち、更なる検討から除外されていない)線ごとに繰り返されることを理解するであろう。すなわち、
図3に示す処理は、複数回繰り返される。
【0042】
図4は、本発明の一以上の実施形態に係るフローチャートを示す。当該フローチャートは、画像内の書き込みボードの外側の背景内に位置する線を特定する処理を示す。
図4に示す一以上のステップは、
図1を参照して説明したシステム(100)の構成要素により実行される。本発明の一以上の実施形態において、
図4に示す一以上のステップは、省略、繰り返し及び/又は
図4に示す順番とは異なる順番で実行されてもよい。よって、本発明の範囲は、
図4に示すステップの具体的な配列に限定されるものではない。なお、
図4に示す処理は、
図2を参照して説明したステップ225に相当する。
【0043】
まず、画像内で検出された線から線を1本選択する(ステップ405)。線は、検出された全ての線の中からランダムに選択される。さらに又はあるいは、線は、最も長い線であるため、最も短い線であるため、画像の中心に最も近いため、画像の中心から最も遠いためなど、任意の理由により選択されてもよい。
【0044】
ステップ410において、選択された線について、複数のサンプル点を算出する。一以上の実施形態において、サンプル点の数は、選択された線の長さに基づく。選択された線が長さLを有する場合、サンプル点は、選択された線上にL/10間隔(又はL/2間隔、L/4間隔、L/5間隔、L/8間隔、L/16間隔など)で配置される。さらに又はあるいは、選択された線の長さに拘わらず、一定数のサンプル点を用いてもよい。サンプル点は、選択された線に沿ってランダムな距離で配置されてもよい。さらに又はあるいは、サンプル点は、選択された線の両端にのみ配置されてもよい。
【0045】
ステップ415において、基準点から選択された線上の各サンプル点までのリンクを生成する。事実上、リンク自体が線分である。基準点は、画像の中心に相当する。さらに又はあるいは、基準点は、画像の中心の近辺(例えば、画像の中心を含む小領域内)に位置してもよい。
【0046】
ステップ420において、他の線とのリンク交点を特定する。事実上、リンク交点は、リンクと、当該リンクが選択されたリンクのサンプル点に到達する前に交差する他の線との交点である。リンク交点を有しないリンクや、複数のリンク交点を有するリンクもある。
【0047】
ステップ425において、リンク交点の総数(すなわち、基準点から選択された線までの全てのリンクのリンク交点)は閾値(例えば、1、5、6、10、11など)を超えるか否か判定する。リンク交点の総数は閾値を超えると判定された場合、選択された線は、画像内の書き込みボードの外側の背景内に位置すると見なされる(ステップ430)。一方、リンク交点の総数は閾値を超えないと判定された場合、選択された線は、背景内に位置しないと見なされる(ステップ435)。
【0048】
本詳細な説明の恩恵に浴する当業者であれば、
図4に示す処理は、画像内で検出され、除去されていない(すなわち、更なる検討から除外されていない)線ごとに繰り返されることを理解するであろう。すなわち、
図4に示す処理は、複数回繰り返される。
【0049】
図5A〜
図5Fは、本発明の一以上の実施形態に係る実施例を示す。
図5Aに示すように、ホワイトボード(508)を含む画像(506)がある。画像(506)内のホワイトボード(508)の遠近感は歪んでいる。この画像(506)にOCRや他の種類の画像処理を行ったとしても、良い結果を得られない確率が高い。すなわち、画像処理を行っても、遠近感の歪みのため、画像(506)からホワイトボード(506)の内容を正しく抽出できないことが多い。
【0050】
図5Bは、線検出後の画像(510)を示す。
図5Bに示すように、検出された線は、ホワイトボード(508)上に位置する線と、ホワイトボード(508)の輪郭(例えば、周辺、境界)に相当する線と、ホワイトボード(508)の外側の背景内に位置する線と、を含む。
【0051】
図5Cは、検出された線のうちの1本の線(514)と、生成された複数の細長片(すなわち、細長片A(516A)、細長片C(516C)、細長片E(516E))を示す。線(514)が略垂直であるため、生成された細長片は水平であり、線(514)の左側から右側へと延びている。各細長片(516A、516C、516E)は、線(514)の左側に位置する複数の画素(512)と右側に位置する複数の画素を有する。ここで、細長片C(516C)について検討する。細長片C(516C)の線(514)の左側に位置する画素について、1つ以上の統計的強度値(例えば、I
40、I
60)が算出される。また、細長片C(516C)の線(514)の右側に位置する画素について、1つ以上の統計的強度値(例えば、I
40、I
60)が算出される。線(514)の両側の統計的強度値が一致する場合、細長片C(516C)はUISと見なされる。そして、全細長片(516A、516C、516Eなど)のうち少なくとも1/3がUISである場合、線(514)は、画像内のホワイトボード(508)上に位置すると見なされる。
【0052】
図5Dは、検出された線(524)と、画像の中心付近に位置する基準点(520)を示す。更に
図5Dに示すように、検出された線(524)について、複数のサンプル点(522)が算出される。そして、基準点(520)から各サンプル点(522)までのリンク(525)が生成される。基準点(520)と検出された線(524)の間に、他の検出された線(すなわち、他の線A(526)、他の線B(528))がある。したがって、いくつかのリンクは、他の線(526、528)と交差する。リンク交点の数が閾値(例えば、5)を超える場合、検出された線(524)は、画像内のホワイトボード(508)の外側の背景内に位置すると見なされる。
【0053】
図5Eは、複数の群(すなわち、群A(530A)、群B(530B)、群C(530C)、群D(530D))を示す。群(530A、530B、530C、530D)は、水平な線の群2つ(530B、530D)と、垂直な線の群2つ(530A、530C)を含む。各群(530A、530B、530C、530D)において、線は、長さや画像の中心からの距離などによりランク付けされる。各群(530A、530B、530C、530D)から1本の線を選択することにより、4本の線のセットが形成される。
【0054】
図5Fは、4本の線のセットについての交点の算出結果を示す。これら交点は四角形の原理に反しないため、画像内のホワイトボード(508)のコーナーと見なされる。したがって、交点の座標及び4本の線の間の距離(w、h)に基づいて、アフィン変換が算出される。この変換を画像に適用することにより、書き込みボードの遠近感の歪みが少なくとも部分的に補正される。変換を適用後の画像は、ホワイトボード(508)の内容を抽出するための更なる画像処理(例えば、OCR)に、より適している。
【0055】
本発明の一以上の実施形態は、以下の効果を有する:画像内の書き込みボードの遠近感の歪みを少なくとも部分的に補正することができる;画像内の書き込みボード上に位置する線を特定し除去することができる;画像内の書き込みボードの外側の背景内に位置する線を特定し除去することができる;リンク交点に基づいて、線は背景内に位置すると判定することができる;統計的強度値及びUISを用いて、線は書き込みボード上に位置すると判定することができる;など。
【0056】
本発明の実施形態は、用いられているプラットフォームに拘わらず、事実上、あらゆる種類のコンピューティングシステムに実装できる。例えば、当該コンピューティングシステムは、一以上のモバイルデバイス(例えば、ラップトップコンピューター、スマートフォン、携帯情報端末、タブレットコンピューター又は他のモバイルデバイス)、デスクトップコンピューター、サーバー、サーバーシャーシにおけるブレード、又は本発明の一以上の実施形態を実施するための最低限の処理能力、メモリー、入力及び出力装置を少なくとも備える他の種類のコンピューティングデバイス又はデバイスである。例えば、
図6に示すように、コンピューティングシステム(600)は、一以上のコンピュータープロセッサー(602)、関連するメモリー(604)(例えば、ランダムアクセスメモリー(RAM)、キャッシュメモリー、フラッシュメモリーなど)、一以上の記憶装置(606)(例えば、ハードディスク、コンパクトディスク(CD)ドライブやデジタル多目的ディスク(DVD)ドライブなどの光学ドライブ、フラッシュメモリースティックなど)、及びその他多くの構成要素や機能を備える。コンピュータープロセッサー(602)は、例えば、指示を処理する集積回路である。コンピュータープロセッサーは、例えば、一以上のコア又はプロセッサーのマイクロコアである。コンピューティングシステム(600)は、一以上の入力装置(610)を備えてもよく、当該入力装置は、タッチパネル、キーボード、マウス、マイクロフォン、タッチパッド、電子ペン又はその他の種類の入力装置である。また、コンピューティングシステム(600)は、一以上の出力装置(608)を備えてもよく、当該出力装置は、スクリーン(例えば、液晶ディスプレイ(LCD)、プラズマディスプレイ、タッチパネル、ブラウン管(CRT)モニター、プロジェクター又はその他の表示装置)、プリンター、外部記憶装置又はその他の出力装置である。一以上の出力装置は、入力装置と同じであっても異なっていてもよい。コンピューティングシステム(600)は、ネットワークインターフェース接続(図示せず)を介して、ネットワーク(612)(例えば、ローカルエリアネットワーク(LAN)、インターネットなどの広域ネットワーク(WAN)、モバイルネットワーク又はその他の種類のネットワーク)に接続される。入力及び出力装置は、局所的に又は遠隔的に(例えば、ネットワーク(612)を介して)コンピュータープロセッサー(602)、メモリー(604)及び記憶装置(606)に接続される。コンピューティングシステムには多くの異なる種類があり、前述の入力及び出力装置は他の形態を取ってもよい。
【0057】
本発明の実施形態を実施するためのコンピューター読取可能プログラムコードの形態のソフトウェア指示は、全て又は一部、一時的に又は恒久的に、CD、DVD、記憶装置、ディスケット、テープ、フラッシュメモリー、物理メモリー、他のコンピューター読取可能記憶媒体など、非一時的コンピューター読取可能媒体に記憶される。具体的には、ソフトウェア指示は、プロセッサーによって実行された際に本発明の実施形態を実施するように構成されたコンピューター読取可能プログラムコードに相当する。
【0058】
また、前述したコンピューティングシステム(600)の一以上の構成要素は、遠隔に位置し、ネットワーク(612)を介して、その他の構成要素と接続されてもよい。また、本発明の一以上の実施形態は、複数のノードを有する分散システムに実装されてもよく、本発明の各部は、分散システム内の異なるノードに位置してもよい。本発明の一実施形態において、ノードは別のコンピューティングデバイスに相当する。あるいは、ノードは関連する物理メモリーを有するコンピュータープロセッサーに相当する。あるいは、ノードは共有メモリー及び/又はリソースを有するコンピュータープロセッサー又はコンピュータープロセッサーのマイクロコアに相当する。
【0059】
限られた数の実施形態に関連して本発明を説明したが、本開示の恩恵に浴する当業者であれば、ここに開示された本発明の範囲から逸脱しない他の実施形態が考案可能であることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。
【外国語明細書】