您好，在农村私下协议双方换土地使用时，如果存在合法有效的证据证明该协议是双方真实意思表示，并且不存在欺诈、胁迫等情形，则该协议应为有效。不过需要注意的是，这种私下协议的效力通常会受到当地政府部门的认可和认可程度的影响。 关于您提到的“几年以后我再要回来”这个问题，具体要看当地的法律法规以及双方的具体约定。如果您认为自己有权要求对方归还土地使用权，建议先尝试与对方协商解决，看能否达成一致意见。如果无法达成一致，可以通过法律途径来维护自己的权益。 至于对方不接受换地或不愿意将土地归还的问题，您可以考虑收集相关证据，如照片、视频等，以证明您的主张。同时，也可以考虑聘请专业的律师帮助处理相关事宜，以确保自己的合法权益得到保护。 最后，关于对方外出打工的情况，如果猪棚已经被废弃或者严重损坏，确实影响到了您的居住安全或其他利益，那么您可以向相关部门反映情况并寻求解决办法。但请注意，任何行为都应在法律允许的范围内进行，避免采取可能引发纠纷的行为。