Mỗi tên gọi dân gian đều có một xuất xứ rất riêng và ý nhị. Ví như gần Đông Nam Môn (cửa Đông Nam Môn) có một trại ngựa hay khu vườn nuôi ngựa để kéo xe cho vua. Xưa gọi cái tên thật danh giá là Viện Thượng Tứ, nghe đâu nằm ở bên trong cửa thành Đông Nam, khoảng nơi xeo xéo, có cái không gian là lạ là Trường tiểu học Trần Quốc Toản ngày nay. “Thượng” có nghĩa thuộc về của vua, còn “Tứ” là xe bốn bánh do ngựa kéo, chẳng có chi khó hiểu có điều, lâu nay tôi lại chẳng hiểu. Vì Đông Nam Môn ở gần khu vực nuôi ngựa kia nên dân Huế ta gọi luôn cho tiện là cửa Thượng Tứ và rồi lâu dần thành quen, không còn ai để ý nữa đến ba chữ Đông Nam Môn ghi trên vọng lâu. Tương truyền, trong chính biến 1885, cả kinh thành Huế chìm trong trong biển lửa và những chuồng ngựa trong Viện Thượng Tứ cũng bị thiêu cháy.
Nghe kể, ngựa được chăn giữ ở Viện Thượng Tứ thường dữ, phải do đội phi kỵ vệ và khinh kỵ vệ nuôi dạy, huấn luyện cho ngựa trở nên thuần. Thế nên, mới có chuyện người đàn bà dữ dằn lúc nào cũng lồng lên như ngựa chứng, sợ lắm, không chơi được thì ở cái xứ Huế này gọi là “ngựa Thượng Tứ”. Nó từa tựa “sư tử Hà Đông” ở xứ Bắc Kỳ. Lại nữa, có còn một cách lý giải nghe là lạ. Đó là tứ, cũng như tên ngựa câu, ngựa kỳ, là con ngựa chạy giỏi. Trại ngựa huấn luyện cho vua những con ngựa tứ không chỉ chạy nhanh mà còn phải sải đều bốn vó. Con ngựa phải đẹp, lông mượt, chân dài, mắt tinh khôn…Và để ngựa làm quen với công việc, phải thường xuyên được tập luyện và thao diễn. Ngựa thao diễn chạy từ cửa Thượng Tứ tới Gia Hội, từng đoàn rực rực, lồng lộn khiến bao người ở xung quanh giật mình và sốt ruột. “Ngựa Thượng Tứ” do vậy còn mang ý nghĩa biểu cảm, răn đe con gái tuổi mới lớn không nên ham chơi, tinh ranh và “rượn” lắm, kiểu như ngựa cái đi tìm đực, “ngựa Thượng Tứ” khi thao diễn.
Cửa Thượng Tứ vẫn còn đây giữa phố thị đang ngày càng phát triển. Còn “ngựa Thượng Tứ” đã là của một thời đã qua, nhưng đó là một dĩ vãng đẹp, đáng nhớ. Nhớ về “ngựa Thượng Tứ” cũng là cách giúp chúng ta hôm nay tiếp cận và hiểu hơn về tính cách và tâm hồn của con người nơi vùng núi Ngự, sông Hương.