Le château de Baugé, le chantier