违规建筑的管理主要 由城市规划部门或相关行政主管部门负责。具体管理部门和职责如下：
城市规划部门
负责查处城市规划区内违反规划建设行为和非法临时建筑。
对未取得建设工程规划许可证或未按照许可证规定进行建设的行为，有权作出责令停止建设、限期改正、罚款、限期拆除及没收实物或违法收入等行政处罚。
土地行政主管部门
负责查处涉及违法占地建设的行为。
对违法占用的土地上新建的建筑物和其他设施，责令限期拆除，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，有权制止。
住房和城乡建设局
负责查处未依法办理施工许可手续进行建设的违法行为，有权作出责令改正、停止施工及罚款等处罚决定。
乡、镇人民政府
在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按照许可证规定进行建设的行为，有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
城市建设管理监察支队
可以接受举报，对违规建筑进行查处。
综上所述，违规建筑的管理涉及多个部门，具体由哪个部门负责，需要根据建筑的位置、性质以及是否涉及违法占地等因素来判断。通常情况下，城市规划部门或土地行政主管部门是主要的管理部门，而乡、镇人民政府则负责乡、村庄规划区内的违规建筑管理。建议发现违规建筑后，首先向当地的城市规划部门或土地行政主管部门举报，以便及时得到处理。