Si se conocían las lindes y no esta el muro dentro de tu terreno está en su derecho, pero por tranquilidad y antes de hacer nada lo suyo seria levantar un plano topográfico y sus coordenadas georeferenciadas para comprobación con catastro y registro de la propiedad.

Como recomendación, si las parcelas no son muy grandes, por el coste que implica, a veces es muy interesante medir la parcela contigua, para demostrar con su nota simple de la propiedad que se nos ha metido en nuestra parcela si existe diferencia de una superficie menor.

Si hubiera discrepancias o esta linde estuviese dentro de la tuya se debe de denunciar aportando toda la documentación realizada y a través de un abogado bien notificándose a su vecino o ante su negativa de linderos ir al juzgado.

Una comprobación fácil en linderos sería mirar las lindes que aparecen en el plano del catastro y cuya consulta es gratuita a todo interesado. y se puede superponer con ortofoto de la finca. https://www.sedecatastro.gob.es/

Contratar a un Técnico Colegiado competente.
Quizá le haga falta también un topógrafo.
Y por último, un buen abogado también.
Saludo