Khuynh cái hạ mã, 4 chữ thường được người xưa dựng bia ở những nơi linh thiêng, nhất là trước các Văn Miếu, Văn Thánh.
Vào thời nhà Nguyễn ở những địa điểm quan trọng như Đại Nội, Phu Văn Lâu, lăng vua Gia Long… đều đặt bia đá với nội dung "Khuynh cái hạ mã" để nhắc nhở người dân bày tỏ sự tôn kính khi đi qua những địa điểm này.
Khi các vị vua triều Nguyễn đang còn trị vì, những ai cưỡi ngựa đi qua Ngọ Môn đều phải xuống ngựa dắt bộ qua để bày tỏ sự cung kính đối với những bậc đế vương.
Năm 1821, ngay cạnh Phu Văn Lâu ở kinh thành Huế, vua nhà Nguyễn cho dựng bia đá “khuynh cái hạ mã”, bởi danh sách các khoa danh tiến sĩ được niêm yết tại đây sau khi truyền lô.
Sau thời gian chiến tranh bia đá đã không còn, năm 2016 bia được phục dựng lại trước Phu Văn Lâu cùng thời điểm trùng tu di tích này.
Ngày 12.4.2022 bia bên phải bị gãy đổ và mới đây lại được Trung tâm Bảo tồn di tích Cố đô Huế cho dựng lại bằng đá Thanh với kích thước y như cũ.