No haría falta licencia, pero si vas a cambiar las ventanas (carpinterías exteriores) o a mover un tabique entonces sí es necesario tramitar una licencia por Comunicación Previa (es la más sencilla de las que se pueden tramitar).
En general, para cambiar unas ventanas sin obra no es necesario ningún tipo de permiso, siempre y cuando los nuevos elementos no modifiquen el aspecto exterior de los edificios, es decir, si las nuevas ventanas son del mismo tamaño y forma de las antiguas.