特開 2024-47914 信号送受信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047914

(43)【公開日】2024-04-08

(54)【発明の名称】信号送受信システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240401BHJP

   A61B 1/00 20060101ALI20240401BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 619

A61B1/045 622

A61B1/00 640

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022153687

(22)【出願日】2022-09-27

(71)【出願人】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】110000165

【氏名又は名称】弁理士法人グローバル・アイピー東京

(72)【発明者】

【氏名】丹内 克哉

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA00

4C161BB00

4C161CC06

4C161LL08

4C161NN05

4C161NN07

4C161RR25

4C161WW10

4C161WW14

4C161YY13

4C161YY18

(57)【要約】

【課題】複数のシステムそれぞれにおいて作成される画像ファイルの中から、原画像である撮像画像が同一の画像ファイルを容易に探し出すこと。
【解決手段】実施形態の信号送受信システムは、内視鏡システムと、処理システムとを有する。処理システムは、表示用画像を処理して表示用処理画像を生成する処理装置を備える。内視鏡用プロセッサは、キャプチャ動作により、当該表示用画像のファイルを作成して保存し、その際、識別情報を書き込む。内視鏡用プロセッサは、映像信号を出力する際、ファイルが作成された表示用画像と対応する映像信号のブランキング期間に前記識別情報を付加する。処理装置は、識別情報を検知することにより、表示用処理画像のうち、前記ファイルが作成された表示用画像から生成した表示用処理画像のファイルを作成して保存し、その際、前記識別情報を書き込む。
【選択図】図７

【特許請求の範囲】

【請求項1】

被写体を繰り返し撮像するよう構成された内視鏡と、撮像された被写体の撮像画像から表示用画像を生成し、前記表示用画像の映像信号を出力するよう構成された内視鏡用プロセッサと、を備える内視鏡システムと、
前記映像信号が入力され、前記表示用画像を処理して表示用処理画像を生成するよう構成された処理装置を備える処理システムと、を有し、
前記内視鏡用プロセッサは、前記表示用画像のうちの１つを取り込む指示の入力を受けることにより、当該表示用画像のファイルを作成して保存し、前記ファイルを作成する際、前記ファイルの所定のデータ領域に当該表示用画像の識別情報を書き込み、
前記内視鏡用プロセッサは、前記映像信号を出力する際、前記ファイルが作成された前記表示用画像と対応する前記映像信号のブランキング期間に前記識別情報を付加し、
前記処理装置は、前記内視鏡用プロセッサから入力される前記映像信号の前記ブランキング期間に付加された前記識別情報を検知することにより、前記表示用処理画像のうち、前記ファイルが作成された前記表示用画像から生成した表示用処理画像のファイルを作成して保存し、当該ファイルを作成する際、当該ファイルの所定のデータ領域に前記識別情報を書き込む、ことを特徴とする信号送受信システム。

【請求項2】

前記内視鏡システムは、前記内視鏡用プロセッサから前記映像信号が入力され、前記表示用画像を順次表示するよう構成された第１表示装置をさらに備え、
前記ファイルが作成された前記表示用画像は、前記第１表示装置に順次送られることにより動画として表示された前記表示用画像のうちの１つである、請求項１に記載の信号送受信システム。

【請求項3】

前記処理装置は、前記映像信号の前記表示用画像の成分を前記表示用処理画像の成分に置き換えた前記表示用処理画像の映像信号を出力するよう構成されている、請求項１に記載の信号送受信システム。

【請求項4】

前記内視鏡用プロセッサは、前記処理装置から入力された前記映像信号の前記ブランキング期間に付加されている前記識別情報を検知することにより、前記表示用処理画像のうち前記処理装置により前記ファイルが作成された表示用処理画像のファイルを作成して保存し、当該ファイルを作成する際、当該ファイルの所定のデータ領域に前記識別情報を書き込む、請求項３に記載の信号送受信システム。

【請求項5】

前記処理システムは、前記表示用処理画像の前記映像信号が入力され、前記表示用処理画像を順次表示するよう構成された第２表示装置をさらに備える、請求項３又は４に記載の信号送受信システム。

【請求項6】

前記信号送受信システムは、第３表示装置と、前記第３表示装置に前記表示用画像及び前記表示用処理画像の少なくとも一方を表示させるよう構成された表示制御装置と、を備える表示システムをさらに有し、
前記表示制御装置は、前記内視鏡システム及び前記処理システムから取得した、前記内視鏡システム及び前記処理システムそれぞれが保持する複数の前記ファイルからなるファイル群のうち一方のファイル群の中から一のファイルの選択の入力を受けることにより、前記識別情報が当該ファイルと同一であるファイルを他方のファイル群から抽出する、請求項１又は２に記載の信号送受信システム。

【請求項7】

前記表示制御装置は、選択された前記ファイルの前記画像、及び抽出した前記ファイルの前記画像を前記第３表示装置に一画面に表示させる、請求項６に記載の信号送受信システム。

【請求項8】

前記処理装置は、前記表示用画像の前記映像信号から得られる前記表示用画像の画像データから被写体の異変を推定予測するよう構成された予測部を備え、
前記処理装置は、前記表示用画像に対して行う処理として、前記予測部の予測結果に応じて、被写体の異変を示す表示の前記表示用画像への付加を行う、請求項１又は２に記載の信号送受信システム。

【請求項9】

前記データ領域には、前記識別情報に加え、前記ファイルの前記画像と共に表示される当該表示用画像の属性情報がさらに書き込まれる、請求項１又は２に記載の信号送受信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システムにより生成した映像信号を送受信する信号送受信システムに関する。

【背景技術】

【0002】

内視鏡システムでは、体腔内の生体組織を繰り返し撮像し、モニタに順次表示される生体組織の表示用画像を動画として見ながら、表示された１フレームの画像をユーザの操作入力に応じてキャプチャ画像として取り込むことが行われている。キャプチャ画像は画像ファイルとして、メモリ等に記録保存される。キャプチャ画像のファイルには、例えば、撮像日時や、患者に関する情報、画像の処理条件の情報が、付加情報として付与される。

【0003】

近年、内視鏡システムにより生成した生体組織の画像を、画像と病変の種類や進行の程度との関係を機械学習させた人工知能システム（処理システム）の予測モデルに与え、病変の種類や進行の程度を推定予測させ、診断に用いることが提案されている。人工知能システムでは、予測結果に応じて、例えば、画像中の病変部位の領域にマーキング等の処理を施した処理画像（表示用処理画像）が生成し、モニタに順次送られ動画として表示される。

【0004】

このような内視鏡システム及び人工知能システムのそれぞれにおいてキャプチャされた画像であって、同じ撮像画像を原画像とする画像同士は、例えば、それぞれのキャプチャファイルに付与されるファイル作成時刻や日付等の情報を用いた検索を行うことにより、ファイル群の中から抽出され、一画面に並べて表示させて閲覧することができる。しかし、このような方法でファイルを探すのは、手間がかかる。

【0005】

従来、画像データに付与した文字情報をキーワードとしてデータベースから類似画像等を検出する技術（特許文献１）や、蓄積した画像ファイルをグルーピングする技術（特許文献２）が知られているが、複数のシステムのそれぞれにおいて作成された画像ファイルの中から、撮像画像が同一であるファイル同士を探し出すことは容易でない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６－２９３９９６号公報

【特許文献2】特開２００８－０５２５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本発明は、複数のシステムそれぞれにおいて作成される画像ファイルの中から、原画像である撮像画像が同一の画像ファイルを容易に探し出すことができる信号送受信システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示は、以下の態様を包含する。
態様１
被写体を繰り返し撮像するよう構成された内視鏡と、撮像された被写体の撮像画像から表示用画像を生成し、前記表示用画像の映像信号を出力するよう構成された内視鏡用プロセッサと、を備える内視鏡システムと、
前記映像信号が入力され、前記表示用画像を処理して表示用処理画像を生成するよう構成された処理装置を備える処理システムと、を有し、
前記内視鏡用プロセッサは、前記表示用画像のうちの１つを取り込む指示の入力を受けることにより、当該表示用画像のファイルを作成して保存し、前記ファイルを作成する際、前記ファイルの所定のデータ領域に当該表示用画像の識別情報を書き込み、
前記内視鏡用プロセッサは、前記映像信号を出力する際、前記ファイルが作成された前記表示用画像と対応する前記映像信号のブランキング期間に前記識別情報を付加し、
前記処理装置は、前記内視鏡用プロセッサから入力される前記映像信号の前記ブランキング期間に付加された前記識別情報を検知することにより、前記表示用処理画像のうち、前記ファイルが作成された前記表示用画像から生成した表示用処理画像のファイルを作成して保存し、当該ファイルを作成する際、当該ファイルの所定のデータ領域に前記識別情報を書き込む、ことを特徴とする信号送受信システム。

【0009】

態様２
前記内視鏡システムは、前記内視鏡用プロセッサから前記映像信号が入力され、前記表示用画像を順次表示するよう構成された第１表示装置をさらに備え、
前記ファイルが作成された前記表示用画像は、前記第１表示装置に順次送られることにより動画として表示された前記表示用画像のうちの１つである、態様１に記載の信号送受信システム。

【0010】

態様３
前記処理装置は、前記映像信号の前記表示用画像の成分を前記表示用処理画像の成分に置き換えた前記表示用処理画像の映像信号を出力するよう構成されている、態様１又は２に記載の信号送受信システム。

【0011】

態様４
前記内視鏡用プロセッサは、前記処理装置から入力された前記映像信号の前記ブランキング期間に付加されている前記識別情報を検知することにより、前記表示用処理画像のうち前記処理装置により前記ファイルが作成された表示用処理画像のファイルを作成して保存し、当該ファイルを作成する際、当該ファイルの所定のデータ領域に前記識別情報を書き込む、態様３に記載の信号送受信システム。

【0012】

態様５
前記処理システムは、前記表示用処理画像の前記映像信号が入力され、前記表示用処理画像を順次表示するよう構成された第２表示装置をさらに備える、態様３又は４に記載の信号送受信システム。

【0013】

態様６
前記信号送受信システムは、第３表示装置と、前記第３表示装置に前記表示用画像及び前記表示用処理画像の少なくとも一方を表示させるよう構成された表示制御装置と、を備える表示システムをさらに有し、
前記表示制御装置は、前記内視鏡システム及び前記処理システムから取得した、前記内視鏡システム及び前記処理システムそれぞれが保持する複数の前記ファイルからなるファイル群のうち一方のファイル群の中から一のファイルの選択の入力を受けることにより、前記識別情報が当該ファイルと同一であるファイルを他方のファイル群から抽出する、態様１から５のいずれか１つに記載の信号送受信システム。

【0014】

態様７
前記表示制御装置は、選択された前記ファイルの前記画像、及び抽出した前記ファイルの前記画像を前記第３表示装置に一画面に表示させる、態様６に記載の信号送受信システム。

【0015】

態様８
前記処理装置は、前記表示用画像の前記映像信号から得られる前記表示用画像の画像データから被写体に生じた異変を推定予測するよう構成された予測部を備え、
前記処理装置は、前記表示用画像に対して行う処理として、前記予測部の予測結果に応じて、被写体に生じた異変に関する表示の前記表示用画像への付加を行う、態様１から７のいずれか１つに記載の信号送受信システム。

【0016】

態様９
前記データ領域には、前記識別情報に加え、前記ファイルの前記画像と共に表示される当該表示用画像の属性情報がさらに書き込まれる、態様１から８のいずれか１つに記載の信号送受信システム。

【発明の効果】

【0017】

上述の信号送受信システムによれば、複数のシステムそれぞれにおいて作成される画像ファイルの中から、原画像である撮像画像が同一の画像ファイルを容易に探し出すことができる。

【図面の簡単な説明】

【0018】

【図1】一実施形態の信号送受信システムの一例を示すブロック図である。

【図2】内視鏡システムの構成の一例を示すブロック図である。

【図3】処理システムの構成の一例を示すブロック図である。

【図4】表示システムの構成の一例を示すブロック図である。

【図5】一実施形態の信号送受信システムの別の一例を示すブロック図である。

【図6】（ａ）、（ｂ）は表示用画像及び表示用処理画像を一画面で表示する表示例を図である。

【図7】内視鏡システムの動画表示中のフローの一例を示す図である。

【図8】処理システムの動画表示中のフローの一例を示す図である。

【図9】内視鏡システムの動画表示中のフローの一例を示す図である。

【発明を実施するための形態】

【0019】

図１は、一実施形態の信号送受信システム１の一例を示すブロック図である。
図１に示されるように、信号送受信システム１は、内視鏡システム１００と、処理システム２００と、を主に有している。

【0020】

（内視鏡システム）
図２は、内視鏡システム１００の構成の一例を示すブロック図である。
図２に示されるように、内視鏡システム１００は、内視鏡１１０と、内視鏡用プロセッサ１５０と、フットスイッチ１８０と、モニタ１９０（第１表示装置）とを備える。

【0021】

内視鏡用プロセッサ１５０は、システムコントローラ１５２及びタイミングコントローラ１５６を備えている。システムコントローラ１５２は、メモリ１５４に記憶された各種プログラムを実行し、内視鏡システム１００の全体を統括的に制御する。また、システムコントローラ１５２は、操作パネル１５８に入力される使用者（術者又は補助者）による指示に応じて内視鏡システム１００の各種設定を変更する。システムコントローラ１５２は、キャプチャ画像を生成する画像処理部１６０（後述）の動作を制御する。キャプチャ画像は、好ましくは、モニタ１９０に動画として表示された表示用画像（後述）のうちの１フレームの画像あるいは連続する複数フレームの画像を取り込んだ画像である。キャプチャ画像は、キャプチャ画像の生成を指示する入力信号（キャプチャ命令）を生成する使用者の所定の操作（キャプチャ動作）に応じて取り込まれる。キャプチャ動作は、内視鏡１１０の先端部の側の操作部に設けられたリモートボタン（図示略）や、フットスイッチ１８０等の操作により行われる。内視鏡用プロセッサ１５０には、可搬媒体であるストレージ１７０（例えばＵＳＢストレージ）が外付けで接続されている。タイミングコントローラ１５６は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム１００内の各回路に出力する。

【0022】

内視鏡用プロセッサ１５０は、内視鏡１１０に照明光を供給する光源装置１４０を備えている。光源装置１４０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して内視鏡１１０の光ファイバー素線の束であるＬＣＢ（Light Carrying Bundle）１１２の入射端に入射される。
あるいは、光源装置１４０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、内視鏡１１０のＬＣＢ１１２の入射端に入射される。発光ダイオードに代えてレーザダイオードを用いることもできる。

【0023】

入射端よりＬＣＢ１１２内に入射した照明光は、ＬＣＢ１１２内を伝播して内視鏡１１０の先端部内に配置されたＬＣＢ１１２の射出端より射出され、配光レンズ１１４を介して被写体である患者の生体組織に照射される。被写体からの反射光は、対物レンズ１１６を介して撮像素子１１８の受光面上で光学像を結ぶ。

【0024】

撮像素子１１８は、被写体である患者の生体組織を撮像して受光光量に応じた画像信号を出力する。撮像素子１１８は、例えば、ＩＲ（Infra Red）カットフィルタ１１８ａ、ベイヤ配列カラーフィルタ１１８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。

【0025】

内視鏡１１０の内視鏡用プロセッサ１５０と接続するコネクタ部内には、ドライバ信号処理回路１２２が備えられている。ドライバ信号処理回路１２２は、撮像素子１１８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を撮像画像の映像信号として内視鏡用プロセッサ１５０の画像処理部１６０に出力する。また、ドライバ信号処理回路１２２は、メモリ１２４にアクセスして内視鏡１１０の固有情報を読み出す。メモリ１２４に記録される内視鏡１１０の固有情報には、例えば撮像素子１１８の画素数や解像度、感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１２２は、メモリ１２４より読み出された固有情報をシステムコントローラ１５２に出力する。

【0026】

システムコントローラ１５２は、内視鏡１１０の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ１５２は、生成された制御信号を用いて、内視鏡用プロセッサ１５０に接続中の内視鏡１１０に適した処理がなされるように内視鏡用プロセッサ１５０内の各回路の動作やタイミングを制御する。システムコントローラ１５２は、キャプチャ動作に応じて、画像処理部１６０を制御するためのキャプチャ命令を出力する。また、システムコントローラ１５２は、キャプチャ動作に応じて、後述する出力部１６９を制御するための信号を出力する。

【0027】

タイミングコントローラ１５６は、システムコントローラ１５２によるタイミング制御に従って、ドライバ信号処理回路１２２及び光源装置１４０にクロックパルスからなるタイミング信号を供給する。ドライバ信号処理回路１２２は、タイミングコントローラ１５６から供給されるクロックパルスに従って、撮像素子１１８を内視鏡用プロセッサ１５０側で処理される映像のフレームレートに同期したタイミング信号で駆動する。これにより、内視鏡１１０は、撮像素子１１８を用いて、被写体を繰り返し撮像し、撮像画像を生成する。

【0028】

内視鏡用プロセッサ１５０は、画像処理部１６０及び出力部１６８，１６９を備える。画像処理部１６０は、プレ信号処理部１６２、画像メモリ１６４、及びビデオ信号処理部１６６を備える。プレ信号処理部１６２は、画像処理部１６０に入力される撮像画像に対して、順次、ホワイトバランス調整、ガンマ補正等の所定の信号処理を施し、出力部１６８、１６９を介してモニタ１９０及び処理システム２００に出力される表示用画像（内視鏡画像）の映像信号を生成する。プレ信号処理部６２は、生成した表示用画像を、順次、ビデオ信号処理部１６６に出力する。

【0029】

プレ信号処理部１６２は、動画表示中、システムコントローラ１５２から出力されたキャプチャ命令に応じて、キャプチャ画像のファイル（キャプチャファイル）を作成して画像メモリ１６４に記憶させる。また、プレ信号処理部１６２は、画像メモリ１６４のほか、例えば、プレ信号処理部１６２により選択されたぶれの少ない画像を、操作パネル１５８において設定された設定内容（例えば、ファイルフォーマットをJPEG形式等とすること、記録されるEXIF情報等）に応じて、ファイル化し、ストレージ１７０に記憶させる。画像メモリ１６４は、プレ信号処理部１６２により作成されたキャプチャファイルを保持するメモリである。キャプチャファイルは、キャプチャ画像のデータ領域と、任意に付加される付加情報が書き込まれるデータ領域とを有する。キャプチャファイルは、例えば、JPEG（Joint Photographic Experts Group）又はTIFF（Tagged Image File Format）形式の画像データに、後述するＩＤ情報（識別情報）及び任意に付加される付加情報をメタデータとして記録したEXIF（Exchangeable Image File Format）形式のファイルであるが、EXIF形式のファイルに限られず、メタデータが書き込まれるデータ領域を有する他の形式の画像ファイルであってもよい。

【0030】

ＩＤ情報は、キャプチャ画像とされた表示用画像を特定するための情報であり、内視鏡用プロセッサ１５０により作成されたキャプチャファイルごとに付与される。ＩＤ情報は、例えば、内視鏡１１０あるいは内視鏡用プロセッサ１５０の名称あるいはシリアル番号を表す英数字と、キャプチャファイルを作成した日付及び時刻を表す英数字と、を含む情報である。このようなＩＤ情報がキャプチャファイルのデータ領域に書き込まれている。ＩＤ情報は、キャプチャ動作に応じて、システムコントローラ１５２により生成され、プレ信号処理部１６２及び出力部１６９に出力される。

【0031】

付加情報には、キャプチャ画像と共に表示される、キャプチャ画像の属性情報が好ましく用いられる。属性情報は、例えば、キャプチャ画像とされた表示用画像の原画像である撮像画像の撮像日時や、使用者や患者に関する情報、画像処理条件を示す情報である。使用者に関する情報は、撮像時の内視鏡１１０の使用者の名前、ＩＤ、病院名等である。患者に関する情報は、患者の名前、ＩＤ、年齢、性別等である。画像処理条件を示す情報は、例えば、強調処理の有無及びレベル、ノイズリダクションの有無及びレベル、コントラストのレベル、明るさのレベル、赤色及び青色の信号レベル（ホワイトバランス）等を示す情報である。

【0032】

ビデオ信号処理部１６６は、モニタ１９０に供給されるビデオフォーマット信号を生成する。具体的に、ビデオ信号処理部１６６は、プレ信号処理部１６２から入力される画像信号を１フレームずつ処理し、表示用画像のビデオフォーマット信号を生成し、出力部１６８を介してモニタ１９０に順次出力することで、動画を表示させる。モニタ１９０には、動画表示中、全てのフレームの表示用画像が表示される。また、ビデオ信号処理部１６６は、生成したビデオフォーマット信号を、出力部１６９を介して処理システム２００の処理装置２１０（後述）にも順次出力する。

【0033】

ビデオ信号処理部１６６は、キャプチャ命令が入力されると、画像メモリ１６４から出力されたキャプチャ画像を用いて、静止画像のビデオフォーマット信号を生成し、動画用の信号から切り替えて、モニタ１９０に出力する。キャプチャ動作が解除され、キャプチャ命令の入力が停止されると、ビデオ信号処理部１６６は、静止画像の信号から切り替えて、動画用の信号をモニタ１９０に出力する。

【0034】

出力部１６８は、モニタ１９０を接続する接続インターフェースを備える。出力部１６９は、処理装置２１０を接続する接続インターフェースを備える。出力部１６８とモニタ１９０、及び、出力部１６９と処理装置２１０はそれぞれ、例えば映像信号を伝送するためのケーブルで接続される。出力部１６８，１６９の出力インターフェースは、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのデジタル形式の映像信号を出力する出力インターフェースである。出力部１６８，１６９は、ビデオ信号処理部１６６から出力されたビデオフォーマット信号を順次出力する。

【0035】

出力部１６９は、キャプチャ命令の入力に応じて、ビデオ信号処理部１６６から入力される映像信号のうち、キャプチャ画像と対応する映像信号の垂直又は水平ブランキング期間に、システムコントローラ１５２から送られるＩＤ情報のデータを付加する。このようにしてＩＤ情報が埋め込まれた映像信号が処理装置２１０に出力される。

【0036】

（処理システム）
図３は、処理システム２００の構成の一例を示すブロック図である。処理システム２００は、処理装置２１０と、モニタ２９０（第２表示装置）と、処理装置２１０に外部接続された、マウス及びキーボードを含む入力操作デバイス２８０と、を備える。処理装置２１０には、可搬媒体であるストレージ２７０（例えばＵＳＢストレージ）が外付けで接続されている。処理装置２１０は、ＣＰＵ及び／又はＧＰＵ、及びメモリを備えるコンピュータで構成される。処理装置２１０は、メモリに記憶するプログラムを起動することにより機能を発揮する、処理制御部２５０及び後述する予測部２２２及び人工知能部２３４をソフトウェアモジュールとして少なくとも形成する。処理装置２１０は、入力部２１２と、処理制御部２５０と、出力部２２８とを主に備える。入力部２１２は、内視鏡用プロセッサ１５０を接続する接続インターフェースを備える。入力部２１２の入力インターフェースは、内視鏡用プロセッサ１５０から出力された表示用画像の映像信号が入力される入力インターフェースである。入力部２１２は、内視鏡システム１００から出力された映像信号を処理制御部２５０に転送する。

【0037】

処理制御部２５０は、入力部２１２から転送された表示用画像（内視鏡画像）の映像信号に対して所定の信号処理（後述）を施して、画像処理された表示用処理画像（処理済み内視鏡画像）の映像信号を生成する。処理制御部２５０は、表示用処理画像の映像信号として、内視鏡システム１００から受信した映像信号の表示用画像の成分を表示用処理画像の成分に置き換えた信号を出力するよう構成されていることが好ましい。このような映像信号にはＩＤ情報が重畳しているため、後述するように内視鏡用プロセッサ１５０に出力された場合に、内視鏡システム１００のモニタ１９０に表示用処理画像を表示させつつ、内視鏡用プロセッサ１５０により、検知されたＩＤ情報を用いて表示用処理画像をキャプチャさせることができる。処理装置２１０は、生成した表示用処理画像の映像信号を順次、モニタ２９０に出力し、動画として表示させる。その際、処理制御部２５０は、表示用画像と表示用処理画像が一画面に表示されるよう、画像処理前の表示用画像の映像信号をさらにモニタ２９０に出力することが好ましい。２つの画像を一画面に表示させる方式は、図５に示す信号送受信システム１１に関して後で説明する方式と同様の方式を採用できる。

【0038】

また、処理制御部２５０は、入力部２１２から転送された表示用画像の映像信号のブランキング期間を解析し、ブランキング期間に埋め込まれたＩＤ情報を検知する。ＩＤ情報が検知された場合、処理制御部２５０は、表示用処理画像の映像信号のうち、ブランキング期間にＩＤ情報が付加された映像信号の表示用画像から表示用処理画像のキャプチャファイルを作成して画像メモリ２５２に記憶させる。キャプチャファイルは、画像メモリ２５２のほか、例えば入力操作デバイスの操作により処理装置２１０に入力された設定内容に応じて、ストレージ２７０に記憶される。処理制御部２５０が作成するキャプチャファイルは、内視鏡用プロセッサ１５０により作成されるキャプチャファイルと同様の形式の画像ファイルであり、例えば、上述のEXIF形式のファイルであるが、上記他の形式の画像ファイルであってもよい。処理制御部２５０は、キャプチャファイルを作成する際、キャプチャファイルのメタデータが書き込まれるデータ領域に、検知されたＩＤ情報を書き込む。このようにして処理システム２００では、検知されたＩＤ情報を用いて、内視鏡システム１００における使用者のキャプチャ動作と連動して、原画像である撮像画像が同一のキャプチャファイルが作成される。

【0039】

以上の信号送受信システム１によれば、複数のシステムそれぞれにおいて作成されたキャプチャファイルのうち、原画像となる撮像画像が同一のキャプチャファイルには同一のＩＤ情報が埋め込まれているので、ＩＤ情報を介して、複数のシステムにおいて作成された複数のキャプチャファイルを含むファイル群の一方の中から選択したファイルと同一のＩＤ情報を持つ他方のファイル群のファイルを容易に探し出すことができる。したがって、使用者は、各ファイルの作成時刻や日付等の情報を用いて、原画像となる撮像画像が同一のファイルを検索等により探す必要がない。また、各ファイルの作成時刻や日付等の情報がシステム間で一致しないことに起因して、探し当てたファイルの間で原画像となる撮像画像が異なるようなことも生じない。

【0040】

また、信号送受信システム１では、一方のシステムから他方のシステムに送信される映像信号にＩＤ情報が重畳しているので、他方のシステムにおいて、検知されたＩＤ情報を用いて、一方のシステムで作成されたキャプチャファイルと、原画像となる撮像画像が同一のキャプチャファイルを作成することができる。このように複数のシステムの間で映像信号の送受を行うことによりＩＤ情報を伝達できるので、例えば、両システムをＬＡＮケーブル等で繋ぎ、必要な通信インターフェースを別途構築する必要がない。これに対し、上記説明したように映像信号にＩＤ情報を付加することをしない場合、他方のシステムにおいて、一方のシステムにおけるキャプチャ動作と連動するように、原画像となる撮像画像が同一のキャプチャファイルを作成するためには、映像信号の伝送ケーブルや必要なインターフェースのほかに、ＬＡＮケーブルや通信インターフェース等が必要となり、両システムを繋ぐ物理的なケーブルが多くなる。

【0041】

（表示システム）
信号送受信システム１は、図１に示すように、さらに、表示システム３００を有することが好ましい。図４は、表示システム３００の構成の一例を示すブロック図である。図４に示すように、表示システム３００は、モニタ３９０（第３表示装置）と、表示制御装置３１０と、表示制御装置３１０に外部接続された、キーボード及びマウスを含む入力操作デバイス３８０と、を備える。

【0042】

表示制御装置３１０は、通常のデスクトップコンピュータまたはパーソナルコンピュータで構成され、図示されない制御部、及び記憶部３６０を備える。制御部は、ＣＰＵ、ＲＡＭとＲＯＭを備え、表示制御装置３１０の各種動作の制御を行う。表示制御装置３１０は、モニタ３９０に表示用画像及び表示用処理画像の一方あるいは両方を表示させるよう構成されている。表示制御装置３１０は、表示制御部３５０及び２つのコネクタ（図示略）を備える。表示制御部３５０は、ＣＰＵがＲＯＭに記憶するプログラムを起動することにより機能を発揮する。コネクタは、ストレージ１７０及びストレージ２７０が、外付けで表示制御装置３１０と接続される部分である。表示制御装置３１０は、入力操作デバイスによる操作入力を受け付ける。

【0043】

表示制御部３５０は、ストレージ１７０、２７０それぞれに格納されたファイル群のうち一方のファイル群の中から一のファイルを選択する操作入力を受けることにより、選択したファイルとＩＤ情報が同一であるファイルを他方のファイル群から抽出するよう構成されている。ストレージ１７０には、内視鏡システム１００に保持され、内視鏡システム１００から取得した複数のキャプチャファイルからなるファイル群が記憶されている。複数のキャプチャファイルは、例えば、使用者が一回の手技を行う間にキャプチャして作成されたファイルである。ストレージ２７０には、処理システム２００に保持され、処理システム２００から取得した複数のキャプチャファイルからなるファイル群である。信号送受信システム１によれば、内視鏡システム１００及び処理システム２００に、原画像である撮像画像が同一の複数のキャプチャファイルが作成され、保持されており、ストレージ１７０、２７０にも、原画像である撮像画像が同一のキャプチャファイルを保持させることができる。

【0044】

表示制御部３５０は、具体的に、ストレージ１７０、２７０に保持されたファイルの関連付けを指示する操作入力を受けることにより、ＩＤ情報が同一のファイル同士を関連付け、関連付けられたファイルを、ＩＤ情報と共に記憶部３６０に記憶させるよう構成されている。表示制御部３５０は、一方のファイル群のファイルを選択してキャプチャ画像を表示させる操作入力を受けることにより、選択したファイルのキャプチャ画像及び付加情報のデータをモニタ３９０に出力するとともに、選択したファイルに埋め込まれたＩＤ情報を読み取り、読み取ったＩＤ情報と共に記憶され、選択したファイルと関連付けられた他方のファイル群のファイルを読み出し、読み出したファイルのキャプチャ画像及び付加情報のデータをモニタ３９０に出力するよう構成されている。これにより、一のファイルの選択により、ＩＤ情報が同一の他のファイルが自動的に抽出され、モニタ３９０において、原画像である撮像画像が同一の表示用画像及び表示用処理画像が表示される。使用者は、例えば手技の終了後に、内視鏡システム１００及び処理システム２００において作成され、保存されたファイルのデータをストレージ１７０、２７０ごと運んで、表示システム３００において閲覧することができる。したがって、使用者は、各ファイルの作成時刻や日付等の情報を用いて、原画像となる撮像画像が同一のファイルを検索等により探す必要がない。

【0045】

表示制御部３５０は、選択されたファイルの画像、及び抽出したファイルの画像をモニタ３９０に一画面に表示させることが好ましい。２つの画像を一画面に表示させる方式には、図５に示す信号送受信システム１１について後で説明する方式を採用できる。このように一画面に表示された２つの画像を、表示制御装置３１０が備える周知のスクリーンショット機能を用いて作成した画像ファイルは、例えば論文や学会等で発表するための資料作成に用いることができる。

【0046】

図５に、一実施形態の信号送受信システムの別の一例を示す。図５に示す例の信号送受信システム１１は、図１に示す例の信号送受信システム１に、処理システム２００から内視鏡システム１００に映像信号を送信するための構成が付加されている。図５に示す信号送受信システム１１では、処理装置２１０は、出力部２２９をさらに備え、内視鏡用プロセッサ１５０は、入力部１６７をさらに備える。出力部２２９は、内視鏡用プロセッサ１５０を接続する接続インターフェースを備える。入力部１６７は、処理装置２１０を接続する接続インターフェースを備える。出力部２２９と入力部１６７は、例えば映像信号を伝送するためのケーブルで接続される。出力部２２９の出力インターフェース及び入力部１６７の入力インターフェースは、ＤＶＩやＨＤＭＩ（登録商標）などのデジタル形式の映像信号を出力する出力インターフェースである。

【0047】

信号送受信システム１１において、処理制御部２５０は、表示用処理画像の映像信号を、出力部２２８を介してモニタ２９０に順次出力するほか、出力部２２９を介して内視鏡用プロセッサ１５０に順次出力する。入力部１６７は、処理装置２１０から出力された映像信号を画像処理部１６０に転送する。信号送受信システム１１において、画像処理部１６０のビデオ信号処理部１６６は、入力部１６７から転送された表示用処理画像の映像信号を、モニタ１９０に出力することで、動画を表示させる。その際、ビデオ信号処理部１６６は、表示用画像及び表示用処理画像を一画面に表示させることが好ましい。このような画面表示は、画像診断を行う上で有用である。

【0048】

表示用画像及び表示用処理画像を一画面に表示させる方式には、例えば、一方の画像を親画像とし他方の画像を子画像としたＰＩＰ（ピクチャインピクチャ）方式、両方の画像を画面の左右に配置するＰＯＰ（ピクチャアウトピクチャ）方式を用いることができる。図６は、表示用画像及び表示用処理画像を一画面で表示する表示例を図である。図６（ａ）は、表示用画像２１ａを親画像とし表示用処理画像２１ｂを子画像としたＰＩＰ方式を採用した表示例を示す。図６（ｂ）は、表示用画像２１Ａ及び表示用処理画像２１Ｂを画面の左右に配置するＰＯＰ方式を採用した表示例を示す。その際、表示画面には、２つの画像と共に、日時情報２２ａ、使用者情報２２ｂ、患者情報２２ｃ、画像処理情報２２ｄ等の属性情報が表示されてもよい。表示用画像及び表示用処理画像の間で属性情報は一致しているので、属性情報は１つずつ表示される。

【0049】

また、内視鏡用プロセッサ１５０は、表示用画像及び表示用処理画像の動画を表示中に、処理システム２００から受信した映像信号中にＩＤ情報が検知されることにより、所定期間、モニタ１９０において動画の表示を停止し、ＩＤ情報が付与された表示用画像及び表示用処理画像を静止画として表示されるよう構成されてもよい。あるいは、モニタ１９０において動画の表示を継続しつつ、ＩＤ情報が付与された表示用画像及び表示用処理画像を、動画表示される２つの画像と並べて一画面に表示されるよう構成されてもよい。

【0050】

画像処理部１６０のプレ信号処理部１６２は、入力部１６７から転送された表示用処理画像の映像信号のブランキング期間を解析し、ブランキング期間に埋め込まれたＩＤ情報を検知する。ＩＤ情報が検知されると、プレ信号処理部１６２は、ＩＤ情報が埋め込まれた映像信号から表示用処理画像のキャプチャファイルを作成して画像メモリ１６４に記憶させる。キャプチャファイルは、画像メモリ１６４のほか、例えば、プレ信号処理部１６２により選択されたぶれの少ない画像を、操作パネル１５８において設定された設定内容（例えば、例えば、ファイルフォーマットをJPEG形式等とすること、記録されるEXIF情報等）に応じて、ストレージ１７０に記憶される。作成されるキャプチャファイルのファイル形式は、表示用画像のキャプチャ時に作成されるキャプチャファイルと同様である。このようにして内視鏡システム１００では、検知されたＩＤ情報を用いて、内視鏡システム１００における使用者のキャプチャ動作と連動した、処理システム２００における表示用処理画像のキャプチャと連動して、この表示用処理画像と同一の画像のキャプチャファイルを作成することができる。内視鏡用プロセッサ１５０は、キャプチャファイルを作成する際、当該キャプチャファイルの所定のデータ領域にＩＤ情報を書き込むことが好ましい。これにより、処理システム２００で作成され、保持されているキャプチャファイルと同じ表示用処理画像のキャプチャファイルを、内視鏡システム１００も保持することができる。

【0051】

なお、処理システム２００から入力される表示用処理画像の映像信号は、処理装置２１０による画像処理に時間を要して、内視鏡システム１００で生成する表示用画像の映像信号に対してタイムラグが生じる場合がある。しかし、処理システム２００から入力される映像信号にはＩＤ情報が重畳しているので、内視鏡システム１００においてＩＤ情報が検知されることにより、このようなタイムラグが生じていても、内視鏡用プロセッサ１５０によりキャプチャされた表示用画像と同一の撮像画像を原画像とする表示用処理画像を確実にキャプチャすることができる。

【0052】

一実施形態によれば、処理システム２００の処理装置２１０は、入力部２１２、処理制御部２５０及び出力部２２８のほか、図３に示すように、予測部２２２及び人工知能部２２４、通信インターフェース（図示略）を備えることが好ましい。すなわち、処理システム２００は、人工知能システムであることが好ましい。処理制御部２５０は、入力部２１２から転送された表示用画像の映像信号から得られる表示用画像の画像データを、予測部２２２出力する。予測部２２２は、表示用画像の画像データを入力データとして、被写体である患者の生体組織の異変（病変の種類や病変の進行の程度を含む）を、人工知能部２２４の予測モデルに推定予測させ、予測モデルの推定予測結果を処理制御部２５０に出力する。

【0053】

人工知能部２２４は、機械学習した予測モデルを人工知能として備える。人工知能部２２４は、例えば外部のファイリングシステムに保管されている内視鏡画像データを、人工知能による機械学習のための教師データとして用いることができるように構成されている。教師データには、内視鏡画像データと、この内視鏡画像における生体組織の異変（例えば腫瘍、ポリープ等）の有無の情報や、この内視鏡画像データに対する病変の評価結果、例えば医師等による画像診断した主観評価結果（例えばＭＡＹＯ ｅｎｄｏｓｃｏｐｉｃ ｓｕｂｓｃｏｒｅ）の情報とを多数用意したものが用いられる。通信インターフェースは、ネットワークに接続され、処理システム２００が、通信インターフェースを介してファイリングシステムとの間で、内視鏡画像データ及び内視鏡画像における生体組織の異変の有無や、内視鏡画像データに対する病変の評価結果の送受信を行う。

【0054】

人工知能部２２４の予測モデルの機械学習には、例えば、ニューラルネットワークが利用される。予測モデルは、深層学習により予測可能に形成されたディープニューラルネットワーク（ＤＮＮ）のモデル、木構造を利用したランダムフォレスト法によるモデル、ＬＡＳＳＯ回帰を利用したモデル、あるいは、多項式、クリギング、ＲＢＦネットワーク（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ：ＲＢＦＮ）等を利用した非線形関数を含む。

【0055】

処理制御部２５０は、表示用画像の画像処理のための信号処理として、表示画像の映像信号に対し、予測部２２２の予測結果に応じて、表示用画像の異変を示す表示の付加を行う処理を施す。異変を示す表示の付加は、例えば、推定予測により検出された表示用画像中の異変部位の領域にマーキングの処理を施す、あるいは、病変の評価結果を病変部位と関連付けて数値化して示す処理を施すことで行われる。このようにして、処理制御部２５０は、表示用処理画像を生成する。

【0056】

図７に、図１に示す信号送受信システム１における内視鏡システム１００のフローを示す。
内視鏡１１０による被写体の撮像により、内視鏡用プロセッサ１５０の画像処理部１６０は表示用画像の映像信号を生成し（Ｓ１）、モニタ１９０に出力する（Ｓ２）。動画表示中にキャプチャ動作が行われると（Ｓ３のＹＥＳ）、画像処理部１６０は、ＩＤ情報を書き込んだキャプチャファイルを作成し、映像信号のブランキング期間にＩＤ情報を付加する（Ｓ４）。映像信号は処理装置２１０に出力される（Ｓ５）。

【0057】

図８に、図１に示す信号送受信システム１における処理システム２００のフローを示す。
内視鏡用プロセッサ１５０から映像信号が入力されると（Ｓ２１）、処理システム２００の処理制御部２５０は、映像信号から得られる表示用画像の画像データを予測部２２２に出力し、病変に関する推定予測をさせる（Ｓ２２）。処理制御部２５０は、推定予測結果に応じて、表示用画像に対し画像処理を施し、表示用処理画像を生成する（Ｓ２３）。内視鏡用プロセッサ１５０から入力された映像信号にＩＤ情報が検知された場合は（Ｓ２４のＹＥＳ）、処理制御部２５０は、ＩＤ情報を書き込んだキャプチャファイルを作成する（Ｓ２５）。処理制御部２５０は、表示用処理画像の映像信号を生成し（Ｓ２６）、モニタ２９０に出力する（Ｓ２７）。なお、図５に示す信号送受信システム１１では、ステップＳ２７において、モニタ２９０への映像信号の出力に加え、内視鏡用プロセッサにも映像信号の出力が行われる（Ｓ２７）。

【0058】

図９に、図５に示す信号送受信システム１１における内視鏡用プロセッサ１５０のフローを示す。
処理装置２１０から映像信号が入力されると（Ｓ４１）、内視鏡用プロセッサ１５０の画像処理部１６０は、入力された映像信号をモニタ１９０に出力する（Ｓ４２）。入力された映像信号にＩＤ情報が検知された場合は（Ｓ４３のＹＥＳ）、画像処理部１６０は、ＩＤ情報を書き込んだキャプチャファイルを作成し、保存する（Ｓ４４）。

【0059】

以上、本発明の信号送受信システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

【符号の説明】

【0060】

１、１１ 信号送受信システム
２１ａ、２１Ａ 表示用画像
２１ｂ、２１Ｂ 表示用処理画像
２２ａ 日時情報
２２ｂ 使用者情報
２２ｃ 患者情報
２２ｄ 画像処理情報
１００ 内視鏡システム
１１０ 内視鏡
１１２ ＬＣＢ
１１４ 配向レンズ
１１６ 対物レンズ
１１８ 撮像素子
１１８ａ カットフィルタ
１１８ｂ ベイヤ配列カラーフィルタ
１２２ ドライバ信号処理回路
１２４ メモリ
１４０ 光源装置
１５０ 内視鏡用プロセッサ
１５２ システムコントローラ
１５４ メモリ
１５６ タイミングコントローラ
１５８ 操作パネル
１６０ 画像処理部
１６２ プレ信号処理部
１６４ 画像メモリ
１６６ ビデオ信号処理部
１６７ 入力部
１６８、１６９ 出力部
１７０ ストレージ
１８０ フットスイッチ
１９０ モニタ
２００ 処理システム
２１０ 処理装置
２１２ 入力部
２２２ 予測部
２２４ 人工知能部
２２８、２２９ 出力部
２２９ 入力部
２５０ 処理制御部
２７０ ストレージ
２８０ 入力操作デバイス
２９０ モニタ
３００ 表示システム
３１０ 表示制御装置
３５０ 表示制御部
３６０ 記憶部
３８０ 入力操作デバイス
３９０ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】