Cuentan las malas lenguas que el Marqués de Villores pidió permiso al Rey para construir una torre y el monarca no tuvo inconveniente en concedérselo. Una vez finalizada la construcción resultó un torreón de cuatro torres. Su Majestad increpó al marqués por haber construido un torreón más de los que le correspondían por título nobiliario y el noble le acreditó que tenía permiso del monarca, tres torreones por nobleza y el cuarto por autorización real.