根据我国法律规定，如果双方已经共同生活了三年，并且有共同抚养孩子的事实，则应当视为夫妻关系存在，因此不需要退还彩礼钱。 至于孩子扶养费的问题，这通常是由法院根据双方的具体情况来决定的，包括孩子的实际需求、父母的经济能力等。如果双方无法达成一致，可以向人民法院提起诉讼，由法官依法裁决。需要注意的是，无论何种情况下，都不能剥夺子女的合法权益。