Đến đời Lê Cảnh Hưng (1740 - 1786), do nước ngập làm lở thành nên dời trấn sở về khu đất cao hơn, có nhiều đồi gò thoai thoải thuộc địa phận làng Mông Phụ, tổng Cam Giá, huyện Phúc Lộc, phủ Quốc Oai (nay thuộc xã Đường Lâm, thị xã Sơn Tây). Đến năm Minh Mệnh thứ ba (1822) mới dời trấn sở về địa phận các xã Mai Trai, Thuần Nghệ, huyện Minh Nghĩa (sau gọi là Tùng Thiện), tức vùng trung tâm của thị xã Sơn Tây ngày nay.
Qua thời gian “dâu biển đổi dời”, các công trình của trấn lỵ cũ đã bị tàn phá hầu hết, chỉ còn lại một số dấu tích hết sức mờ nhạt trong ký ức dân gian truyền lại. Đó là bờ “thành cổ” đắp bằng đất sét đỏ, phía ngoài có hào sâu, nay đã trở thành những ruộng lúa, nương khoai xung quanh khu đồi Văn miếu (thuộc xã Đường Lâm). Trấn thành còn được xây đắp ở nhiều nơi nhưng không còn dấu vết. Hiện chỉ còn di tích thành cổ Sơn Tây ở giữa thị xã ngày nay được xây dựng vào năm 1822, tức năm Minh Mệnh thứ ba.
Thành bằng đá ong, hình vuông, mỗi chiều dài khoảng 400m, cao 5m. Xây theo kiểu Vô-băng (Vauban) - một kiểu thành của người Pháp đã vẽ kiểu cho vua Gia Long. Thành hình tứ giác, có mặt cắt hình thang, chân thành rộng 6m, trên mặt thành rộng 4m, có nhiều lỗ ở phía trên để cho quân lính nấp phía trong bắn súng ra hoặc dùng giáo mác có cán dài đâm quân địch khi chúng trèo lên tường thành. Thành có 4 cổng chính là: chính Nam (cổng Tiền), chính Bắc (cổng Hậu), chính Đông và chính Tây. Mỗi cổng ở phía trên đều có lầu canh “vọng lâu” và chỉ có một lối ra vào, phía ngoài có đắp Dương mã thành (còn gọi là mang cá) hình chóp nón chắn phía ngoài của thành chỉ mở (sau này các mang cá này đều bị phá sạch). Xung quanh thành phía ngoài có hào sâu 3m, rộng 20m, chu vi khoảng 2000m để phòng ngự. Xa xa bên vòng ngoài là La Thành (thành ngoài) được đắp bằng đất cao 3,5m, hình ngũ giác, bên ngoài có lũy tre gai dày đặc bao bọc. Thành ngoài cũng mở bốn cổng trông ra bốn hướng: Đông, Tây, Nam, Bắc nay vẫn gọi là đường La Thành.
Trong thành, các công trình quan trọng đều được xây dựng đối xứng trên trục trung tâm Nam Bắc. Chính giữa là Vọng cung nữ về hướng Nam là nơi nghỉ của vua mỗi khi đi tuần thú và là nơi các quan trong trấn hàng năm, xuân thu nhị kỳ, đến tế lễ hoặc làm “bái vọng” mỗi khi có chiếu chỉ của nhà vua ban xuống. Trước điện là một sân rộng lát gạch, phía ngoài cổng có bức bình phong xây bằng gạch, đắp hình nổi “Long vân khánh hội” bằng vôi vữa. Tiếp đó là cửa Đoan môn có ba cửa ra vào, nhìn thẳng ra Kỳ đài (cột cờ) xay trên một bệ hình chóp vuông cụt 2 cấp bằng đá ong, cao khoảng 30m, dùng làm nơi treo cờ. Về phía Tây là Võ miếu - nơi thờ các tướng sĩ đã anh dũng hy sinh trong khi chiến đấu bảo vệ thành. Ở bốn góc thành, xưa kia có bốn giếng nước hình vuông to, xây bậc xuống tận đáy bằng đá ong, sâu khoảng 6m, quanh năm cung cấp nước ăn cho quân lính trong thành và nhân dân trong trấn lỵ. Bên cạnh đó là dinh thự và công đường của các quan đầu tỉnh: Tổng đốc (sau đối là Tuần phủ), Bố chánh (hay Án sát), Đề đốc và Đốc học. Về phía Đông Vọng cung là ngục thất (trại giam), kho lương và Trại con gái - nơi vợ con binh lính ở. Nay thành cổ Sơn Tây đang được từng bước khôi phục để lưu giữ một di tích thành trì có giá trị.
