尊敬的客户。 您所描述的情况涉及土地权属争议和相邻关系处理的问题。根据法律规定，如果您的房屋建设未侵犯他人权益，且该地段在历史时期确实属于他人的所有物，那么您可以不拆除挡墙。 然而，需要注意的是，如果您的邻居认为您修建的挡墙损害了他的利益，例如遮挡其树木或者影响其采光等，那么他有权要求您拆除并恢复原状。在这种情况下，建议您与对方进行协商，并寻求第三方调解或诉讼解决。 关于损失责任问题，这需要具体分析双方的过错程度以及受损的程度。如果您认为自己没有过错，而对方有不当行为，可以考虑向法院提起民事诉讼，请求对方承担相应的赔偿责任。如果双方都有过错，也可以通过协商或者调解等方式来解决问题。 最后，强烈建议您聘请专业的律师协助处理此事，以确保自己的合法权益得到充分保护。希望我的解答能够对您有所帮助，祝您生活愉快！