您好，关于您提到的情况，根据我国相关法律法规，如果您在建房过程中确实造成了对他人财物的损害，而对方又明确表示不接受赔偿或者提出其他不合理的要求，那么您的行为可能涉嫌侵犯他人的财产权。但需要注意的是，具体的法律规定和处罚依据可能会因地区差异而有所不同。 因此，建议您及时与对方沟通协商，了解其具体诉求，并寻求第三方调解或法律途径解决争议。同时，为了避免类似情况的发生，您可以考虑采取更加谨慎的方式处理与邻里的关系，比如提前约定好施工时间，避免造成不必要的纠纷。希望上述信息能够帮助到您。