在自家责任田上进行房屋建设是个人的私事，并不涉及集体或政府的利益。因此，在自家责任田上建房的行为并不违反任何法律规定。 然而，如果该房屋建造过程中涉及到公共利益，例如对道路的拓宽、农田灌溉系统的改善等，则需要考虑是否需要征得相关部门的同意和补偿。此外，如果该房屋位于集体土地上，还可能涉及集体土地使用权的问题，需要遵循相关的法律法规处理。 总的来说，只要该行为符合当地法律法规，且未对他人造成损失或影响，一般不会受到处罚。但是，建议在行动前咨询当地的政府部门，以确保自己的权益得到保障。