Năm 1860, dù phải bận đối phó với các đợt phản công của quan quân nhà Nguyễn, người Pháp vẫn quyết định xây dựng ngôi