您原先承包的村集体林场是属于村集体所有，而您的行为构成了擅自改变集体财产用途的行为。因此，根据相关法律规定，您应当将林场交还给村集体。 至于合同的问题，合同中的当事人享有各自的权利和义务，但并不意味着只有合同的一方才是合同的“合法人”。在您的情况下，由于您作为原承包人，对林场拥有所有权，并且签订了有效的承包合同，因此您可以依据该合同主张自己的权益。 如果对方认为您没有按照合同约定履行职责，可以要求解除合同并追究相应的法律责任。最终，责任的认定需要通过合法途径来确定。建议您与对方协商解决，或者直接向法院提起诉讼以维护自身合法权益。