内視鏡システムの画像処理開発とは ― ISP・リアルタイム処理・エッジAI実装のポイント

内視鏡システムの価値は、光学系やイメージセンサーの性能だけでなく、そこから得られた映像信号をどう処理し、医師にどう届けるかという画像処理技術に大きく左右されます。暗い体内環境、粘液や反射、動きの大きさといった条件下で、遅延なく見やすい映像を作り込むには、ISP（Image Signal Processor）設計からFPGAによる低レイテンシ処理、カメラ・照明の同期制御、エッジAIの実装まで、複数の技術領域を統合する開発力が必要です。

本記事では、内視鏡システムの画像処理を開発する立場から、各技術領域の要点と設計上の勘所、外部委託を検討する際のポイントを整理します。内視鏡メーカーや検査装置メーカーで、画像処理・エッジAIの開発リソースが社内に不足している開発担当者の方に向けた内容です。単発の技術要素ではなく、ISP・FPGA・エッジAIを横断してシステム全体の設計判断ができる開発体制が求められる領域です。

医療機器開発支援のお問い合わせはこちら

要求レベルの高い医療機器の開発を、ソフトウェアとハードウェアの両面からワンストップで支援

内視鏡の画像処理で開発が担う範囲

内視鏡の映像は、暗所での撮影、粘液や泡、反射、スコープ操作による動きなど、一般的なカメラ映像より条件が厳しく、そのままでは医師が必要とする情報が埋もれてしまいます。画像処理は、この生の映像信号を診断に使える映像へ変換する工程全体を指し、開発対象はイメージセンサーの出力を受けるISPから、ノイズ低減、可視化のための強調処理、そしてAIによる検出・鑑別支援の実装まで多岐にわたります。

開発において重視すべきは、画質を上げることだけではありません。内視鏡はリアルタイム性そのものが価値であり、処理が重く遅延が増えると操作性が損なわれ、見たい瞬間に見えないという致命的な問題につながります。従って画像処理システムの設計は、画質・遅延・実装コスト（回路規模、消費電力）のバランスを取ることが技術的な核心になります。

イメージセンサーとISPの設計

内視鏡用のISPは、イメージセンサーから出力される生データ（RAWデータ）を、ノイズ低減、デモザイク、色補正、階調変換などの処理を経て表示用映像に変換する回路・ソフトウェアです。体内は照明が限られるため、暗部でのゲインが上がりやすく、その分ノイズが目立ちやすいという内視鏡特有の制約があります。ノイズ低減は強くかけるほど粘膜の微細な模様や血管の連続性といった診断に必要な情報も一緒に失われるため、周波数成分を見極めながらパラメーターを設計する必要があります。

また、内視鏡のスコープは細径化・多機能化が進んでおり、センサーサイズや配線制約の中で画質を確保する設計が求められます。センサー選定の段階から、後段のISP処理でどこまで補正できるか、逆にセンサー側で確保すべき性能は何かを切り分けて開発を進めることが、手戻りを減らす近道です。センサーの出力インターフェースもMIPI CSI-2、LVDS、Camera Linkなど機種によって異なるため、既存のセンサー・カメラモジュールを流用する場合は、インターフェース変換も含めた設計力が必要になります。

リアルタイム処理とレイテンシ設計（FPGA活用）

内視鏡の画像処理では、処理の高度化と低レイテンシの両立が最大の技術的課題です。ノイズ低減や強調処理、AI推論などを重ねるほど処理負荷は増えますが、医師の手元操作から表示までの遅延が大きくなると、操作性が損なわれ検査そのものの安全性にも関わります。

この両立を実現する手段として、FPGAによる並列処理が広く採用されています。FPGAは、ソフトウェア処理では逐次実行になりがちな画像処理パイプラインを、ハードウェア上で並列に実行できるため、高解像度・高フレームレートの映像でも低遅延を維持しやすいという特性があります。加えて、消費電力あたりの処理性能に優れる点や、後からロジックを書き換えられる柔軟性も、内視鏡のような小型・省電力が求められる機器に適しています。

FPGAでの実装では、どの処理をFPGA側のロジックで行い、どの処理をCPU・GPU側のソフトウェアで行うかという処理分担の設計が性能を左右します。ノイズ低減やデモザイクといった前段の処理はFPGAで並列化し、AI推論のような柔軟性が必要な処理は別のプロセッサーに委ねる、といった役割分担が実務上のポイントです。

カメラ・照明の同期制御

内視鏡システムでは、イメージセンサーの露光タイミングと光源（LEDなど）の点灯タイミングを精密に同期させる制御も、画質を左右する重要な開発要素です。特に、複数波長の光を切り替えて撮影する方式や、動画のフレームごとに照明条件を変える方式では、センサーの露光期間と光源の発光期間がずれると、映像にムラやアーチファクトが生じます。

この同期制御は、マイクロ秒単位のタイミング設計が求められる領域であり、ハードウェアの制御ロジックとファームウェアが密接に絡み合います。センサー側のシャッター方式（グローバルシャッター／ローリングシャッター）によっても同期設計の考え方が変わるため、光学系・センサー・照明制御を一体で設計できる開発体制が求められます。

当社の医療機器開発支援の詳細はこちら

要求レベルの高い医療機器の企画・要件定義から製品化、市場参入までワンストップで支援

エッジAIの実装（検出・画質評価支援）

内視鏡AIは、病変候補の検出支援や画質・観察品質の評価支援など、医師の見落としや判断のばらつきを減らす目的で活用が広がっています。開発の観点では、AIモデルの精度設計だけでなく、内視鏡という組込み機器の制約の中でリアルタイムに推論を実行できる実装が課題になります。

具体的には、学習済みモデルを装置に搭載可能なサイズ・演算量まで軽量化する量子化・枝刈りといった技術、GPUやFPGA上のDPU（Deep Learning Processing Unit）を用いた高速推論の実装、そして推論結果を映像の表示フレームに遅延なく重畳する仕組みが必要です。FPGA上でのDPU実装では、量子化・コンパイルによってモデルの推論処理をDPU向けの命令列に変換し、専用のランタイムライブラリを介してホスト側アプリケーションから呼び出す構成が一般的で、ハードウェア特性に合わせたドライバー・API設計まで含めて開発が発生します。装置上でのリアルタイム画像認識・解析は、クラウド側で処理する方式に比べて通信遅延がなく、オフライン環境でも動作できる利点がありますが、その分、限られた計算資源の中で精度と速度を両立させる実装力が問われます。

なお、AIの性能は現場で得られる実際の映像（反射、粘液、視野不良を含む条件）でどこまで安定して動作するかで評価されるため、開発段階から実機データを用いた検証環境を整えておくことが、精度と速度の両立を実現する近道です。

画像強調観察の実装アプローチ

特定の波長帯を強調して血管パターンを見やすくする、あるいは色差を強調して発赤に気づきやすくするといった画像強調観察の技術は、特殊光観察・画像強調観察として各社が独自技術を展開しています。これらは光学的な波長選択とデジタル処理を組み合わせて実現するもので、開発の観点では、光源の波長設計、センサーの分光特性、そして得られた映像から狙った情報を強調する画像処理アルゴリズムの3つを一体で設計する技術です。

強調処理の開発で注意すべきは、強調をかけすぎると不自然な色味やアーチファクトが生じ、観察の妨げになる点です。反射（ハレーション）や粘液による白飛びがあると、強調処理がその部分を誤って目立たせてしまうこともあるため、前処理として反射抑制や局所的な輝度補正を組み込む設計が実務上のポイントになります。

当社の医療機器開発支援の詳細はこちら

要求レベルの高い医療機器の企画・要件定義から製品化、市場参入までワンストップで支援

開発における画質・遅延・実装コストのトレードオフ

ノイズ低減や強調処理、AI推論をすべて最大限にかけると画質は理論上向上しますが、遅延の増加や消費電力の上昇、回路規模の増大を招きます。どの処理をどの程度の強度でかけるかを、ハードウェアリソースと目標とする遅延・フレームレートから逆算して設計する判断力が必要で、ISP・FPGA・AI実装のそれぞれに精通した上でシステム全体を俯瞰できる開発体制が求められます。

内視鏡の画像処理開発を外部委託する場合の選定ポイント

内視鏡や医用画像機器の画像処理・エッジAI開発を外部委託する場合、単に「画像処理ができる」だけでなく、内視鏡特有の制約（低照度、リアルタイム性、小型・省電力）を理解した開発実績があるかが選定の鍵になります。

確認すべきポイントは次のとおりです。

• ISP設計の実績：イメージセンサーの特性を踏まえたノイズ低減・階調変換などのチューニング経験があるか
• FPGA実装力：低レイテンシを要件とする画像処理パイプラインを、FPGA上で設計・実装した実績があるか
• カメラ・照明制御の経験：センサーの露光制御と光源の同期など、ハードウェアに密着したタイミング設計ができるか
• エッジAI実装力：学習済みモデルの軽量化、DPUなどを用いた高速推論の実装、リアルタイム表示への統合まで対応できるか
• 医療機器開発の理解：IEC 62304などのソフトウェアライフサイクル規格を理解し、開発プロセスの証跡を残せるか

これらの技術要素はそれぞれ専門性が異なるため、複数のベンダーに分割発注すると統合時に性能が出ないリスクがあります。ISPからFPGA、エッジAIまでをワンストップで担える開発パートナーであれば、システム全体の設計思想を一貫させやすく、統合後の手戻りを抑えられます。

なお、FPGAベンダーの認定パートナー制度（AMD Adaptive Computing Partnerなど）を持つ開発会社であれば、最新デバイスの技術情報へのアクセスやベンダーからの技術サポートを受けやすく、開発リスクの低減につながります。対応可能なカメラ・映像インターフェース（MIPI CSI-2、LVDS、Camera Link、GigE Visionなど）の幅も、既存のセンサー・カメラモジュールを流用する場合の重要な確認項目です。

まとめ

内視鏡システムの画像処理開発は、ISPによる画質作り込み、FPGAによるリアルタイム・低レイテンシ処理、カメラと照明の精密な同期制御、そしてエッジAIによる検出・品質評価支援の実装まで、複数の技術領域を統合する開発です。画質・遅延・実装コストのトレードオフを踏まえたシステム設計ができるかどうかが、製品の完成度を左右します。

ゼネテックは、内視鏡システムや画像診断装置で求められるリアルタイムな画像処理・画像認識の開発を手がけてきました。イメージセンサーからのISP、FPGAを用いた低レイテンシな画像処理、カメラ制御や照明の同期制御、診断・検査を支援するエッジAIの実装まで、必要な範囲からご依頼いただけます。AMD社パートナープログラムの「SELECT CERTIFIEDメンバ」（Embedded Silver）としての認定も受けており、最新のFPGA・SoCデバイスを用いた開発にも対応可能です。開発体制やご依頼範囲のご相談は、お気軽にお問い合わせください。

医療機器開発支援のお問い合わせはこちら

要求レベルの高い医療機器の開発を、ソフトウェアとハードウェアの両面からワンストップで支援

当社の医療機器開発支援の詳細はこちら

要求レベルの高い医療機器の企画・要件定義から製品化、市場参入までワンストップで支援