违法搭建的管理部门主要是 县级以上地方人民政府城乡规划主管部门。具体来说：
《城市规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。
《城乡规划法》第六十五条进一步指出，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正。
《公房条例》和《规划条例》等相关法规也明确规定，未经规划管理部门许可的建筑物、构筑物，由规划管理部门处理。
地方实施细则中，如《上海市人民政府关于废止等72件规章的决定》等，可能进一步明确了违章搭建的处理部门及其职责。
综上所述，违法搭建的管理部门主要是城乡规划主管部门，具体负责部门可能包括市县规划局、建委或建设局等，具体职责和权限可能因地区和具体情况而异。