你好！我爸去去逝了，一家砖厂的老板夫妻拿出一张借条和一张回执单说我爸借她的四万元，我爸在砖厂打工两年的工，（因为我爸之前给砖厂借了十年的钱了，这钱都是我个人的钱，就是利息一分算，每年换一次借钱的条子每年算一次利息，）去年2016年算利息去了，男人不给算利息，说还钱时一起算，我爸2016年12月27号住院了，住院期间向这夫妻把剩下的两个月的工资要来，2017年2月20号去逝，我去要钱，这对夫妻说我要是不承认我爸的这四万元，她们也不承认我的1004000元，她们是要威胁讹诈我要认下这4元元，我该怎么办，谢谢