本发明提供一种彩色共焦显微系统及其信号处理方法,其利用第一光纤模块将一侦测光调制成侦测光并经过色散物镜而形成多个子色散光场,再聚焦至待测物上。由该待测物反射的测物光经过与该第一光纤模块共轭的第二光纤模块以形成一滤波光。该滤波光经过分光之后分别投射至一组色彩感测单元以分别感测被分光的两道滤波光,而分别产生聚焦位置相互错位的两组三色光强度信号。再对该两组三色光强信号进行演算以得到三个分别对应不同色光的强度信号比例。最后由最大强度信号比例以及一深度关系曲线得到对应该待测物的表面形貌。本发明的系统不仅可取得待测物的表面轮廓资讯,同时具有单点共焦的高解析效果。