Sau chiến thắng Chiến dịch Biên giới (năm 1950), năm 1951, Bộ Tổng Tư lệnh thành lập Đại đoàn 316 trên cơ sở 3 trung đoàn: Trung đoàn 174, Trung đoàn 98 và Trung đoàn 176. Trung đoàn trưởng Hoàng Long Xuyên được ở lại xây dựng bộ đội chính quy cho Tỉnh đội Lạng Sơn. Khi miền Bắc giải phóng, ông được cử sang làm Tư lệnh Công an Vũ trang (nay là Tư lệnh Bộ đội Biên phòng) Khu tự trị Việt Bắc. Sau ngày Giải phóng miền Nam, thống nhất đất nước, cấp trên giao ông phụ trách công tác Quân pháp (lúc bấy giờ là Điều tra Hình sự trong Bộ Tư lệnh Bộ đội Biên phòng)…

Đại tá Hoàng Long Xuyên nguyên là Giám đốc Công an Khu tự trị Việt Bắc, Chỉ huy trưởng Công an Nhân dân Vũ trang khu tự trị Việt Bắc (nay là Bộ đội Biên phòng), nghỉ hưu năm 1986, quân hàm đại tá (hưởng lương cấp bậc thiếu tướng)…

Ở vào tuổi xưa nay hiếm, đóng góp nhiều cho cách mạng, đại tá Hoàng Long Xuyên vẫn nhớ như in hồi ức về những trận đánh, cả chiến dịch Thập Vạn Đại Sơn với những đồng đội trong đó có người đại đội trưởng Ngọc Trình đã hy sinh và nằm lại bên đất Trung Quốc.

Khi được hỏi về kỷ niệm sâu sắc nhất trong đời cách mạng, ông kể về lần gặp gỡ với Bác Hồ năm 1941 ở hang Pắc Bó (Cao Bằng). Bác có dặn dò những chiến sĩ trung kiên trước khi đi học Hoàng Phố bằng mấy câu thơ:

25 triệu đồng bào, một lần nô lệ biết bao đau lòng/ Người giam Hà Nội kẻ tù Sơn La/ Nước Nam là nước Nam ta/ Vì ai đến nỗi xót xa thế này/ Vì thằng Nhật, vì thằng Tây, thanh niên ta phải ra đây học hành/ Một là học hết nhà binh/Hai là học hết tính tình người ta/ Thanh niên là chủ nước nhà/Phải cho huấn luyện mới là thanh niên.

Nghỉ hưu, đại tá Xuyên vẫn giữ vững nếp sống giản dị, khiêm tốn, không hề có biểu hiện công thần, tự mãn. Trong gia đình, ông luôn là tấm gương sống mẫu mực, không bao giờ to tiếng, nặng lời với con cháu mà chỉ nhẹ nhàng khuyên bảo. Ngoài xã hội, ông chan hòa, giản dị với mọi người. Là một nhà cách mạng lão thành trung kiên, trong ông vẫn luôn sáng ngời niềm tin với Đảng, với lý tưởng cách mạng.