什麼是影像融合 (Image Fusion) 與色彩融合 (Color Fusion)？在工業自動化裡有哪些應用？
影像融合 (Image Fusion) 是什麼？
影像融合是將兩張或多張不同來源的影像資訊，整合成一張影像的技術，目的在於增強影像細節、改善對比、結合多維度資訊，讓人眼或機器視覺系統能更清楚判讀，廣泛應用於工業自動化、智慧物流與機器人視覺。
常見的影像來源包含：
• 不同光譜 (例如可見光 + 紅外線)
• 不同感測器 (例如 RGB 彩色相機 + ToF 深度相機)
• 不同曝光度、焦距或拍攝角度的影像
色彩融合 (Color Fusion) 是什麼？
色彩融合是影像融合的一種表現方式，透過顏色映射或著色，將不同來源的影像資訊整合並以色彩呈現，讓人眼或機器能清楚辨識物件的色彩與結構特徵。
以 RGB 相機與 ToF 深度相機的色彩融合為例
•
ToF 相機：可生成點雲圖提供物體的 3D 深度資訊，但影像缺乏色彩與紋理細節。
•
RGB 相機：可提供高解析度的 RGB 色彩資訊與紋理細節，但無法取得深度資訊。
將 RGB 資訊融合至點雲圖後，即可生成帶有真實色彩的 RGB-D 影像 (RGB-Depth Image)，讓人與機器能同時獲得物體的位置、形狀與色彩資訊，大幅提升對環境的理解與判讀效率。
運用 RGB + ToF 相機實現色彩融合的步驟
1. 相機校準
對 ToF 相機與 RGB 相機進行內參與畸變校正，並進行外參校準以建立兩者之間的相對位置與姿態，計算座標轉換矩陣以確保兩相機的影像能精確對準。
2. 像素映射
將 ToF 深度圖轉換為 ToF 相機座標系下的 3D 空間座標，使用外參矩陣將其轉換至 RGB 相機座標系，最後透過 RGB 相機內參將這些 3D 點投影至 RGB 影像平面上，取得正確的像素對應關係。
3. 影像疊加
將對齊後的深度資訊與 RGB 彩色資訊結合，輸出包含 (X, Y, Z) 與 (R, G, B) 資訊的彩色點雲或 RGB-D 影像。
傳統上，ToF 相機與 RGB 相機為兩支獨立設備，內參與外參為不固定數值，因此每次影像融合都需要進行繁瑣的校準與座標轉換，耗費大量人力與時間。
為了解決這項痛點，台達 RGB-D ToF 相機 DMV-TM (產品上線後會加超連結) 將RGB 相機與 ToF 相機整合於同一台硬體設備內，兩相機的內參與外參皆為出廠校準固定，使用者可透過專屬 API 或 DIAVision 視覺平台的 Plug-in，快速完成色彩融合，大幅提升應用開發效率。
色彩融合的好處
• 資訊更全面
彌補單一感測器無法同時取得色彩與深度的限制
• 模型更精確
RGB 影像可填補深度圖的孔洞與邊緣缺陷，生成更完整平滑的 3D 模型
• 系統更可靠
在複雜多變的環境中，單一感測器容易受到特定條件的影響進而導致效能降低或無法運作，當 RGB 相機與 ToF 相機結合後，即使光源不足，ToF 相機仍能獲取深度資訊，提升整體感知穩定性
色彩融合在工業自動化的應用
色彩融合的 RGB-D 影像不僅提升影像的可視化效果與判讀價值，也拓展其應用範圍與深度，例如：
• 智慧物流
融合 RGB 與 ToF 影像後，可同時獲取包裹的色彩、形狀與尺寸資訊，在拆卸棧板時，彩色點雲圖幫助機器人辨識出相黏在一起的貨物，精準定位與抓取包裹。
• 工業檢測
結合彩色影像與深度圖，可用於檢測物體表面缺陷、結構變形、色差或圖樣完整性。
• 高階機器人視覺感知
強化機器人的 AI 學習能力，使其能同時辨識物件色彩與 3D 位置，進而執行抓取、分揀、裝配等複雜任務。此外，RGB-D 影像也有助於機器人提升環境感知的能力，例如 AMR(自主移動機器人)可透過辨識廠房內不同顏色的燈號管制，確保作業過程的安全性與效率。
影像融合(Image Fusion)與色彩融合(Color Fusion)是提升機器視覺系統感知力與判讀力的關鍵技術，透過 RGB 與 ToF 等多感測器融合，可應對多變環境，提升工業自動化、物流與機器人應用的可靠性與效率。
台達RGB 與 ToF 工業相機解決方案