我07年跟他结婚。08年他住监狱了.住了四年。回来之后我们又在一起生活了。在一起之后我问他要了三万。他常年在外打工。一直不在家。只要他打工回来。我们就在一起。我一直说办结婚证。他们家一直拖拖拉拉不办。现在感情不和了。打算分开。他又问我要回那三万。请问我应该给他吗？这几年一直耗的我青春。我现在都30多了。我该怎么办？