Ban đầu, khu vườn cây trồng và nuôi chim thú này chỉ là một cảnh quan hỗ trợ cho không gian của Phủ Toàn quyền Đông Dương, trên đất của các làng Ngọc Hà, Hữu Tiệp và Khán Xuân.
Không gian này bao lấy môt gò núi đất nhỏ mà dân vẫn quen gọi là Núi Nùng, những tên dân gian của nó là Núi Sưa vì trên đó mọc nhiều loại cây này. Trên lưng núi, lại có đền thờ Huyền Thiên Hắc Đế, tuơng truyền là người giúp nhà Lý đánh giặc phương Nam, nên được phong làm thành hoàng của mấy làng trong khu vực. Ngay chân núi lại có mấy hồ nước hơn hẳn vườn ở Sài Gòn. Ở đây từng có một ngôi “đền Hàng Hoa” rất đẹp.