Chateau du Gavoir, von Gilbert et Louise Baud