根据我国相关法律规定，丧葬费应当由死者生前供养的直系亲属共同享有。如果单位认为只有两个子女到场才能领取丧葬费，则可能侵犯了其他符合条件的直系亲属的利益。建议您向当地劳动监察大队投诉，要求单位按照法律规定及时支付丧葬费，并且可以向法院提起诉讼，维护自己的合法权益。同时，也可以考虑通过调解或仲裁的方式解决争议。在处理此类案件时，需要充分了解相关法律法规，以便更好地维护自身权益。