如果父亲是赠予的房产，但对赠与人有扶养义务而不履行，可在一年内撤销，也就是可以要回去。
赠与人可以撤销赠与：严重侵害赠与人或者赠与人近亲属的合法权益；对赠与人有扶养义务而不履行；不履行赠与合同约定的义务。赠与人的撤销权自知道或者应当知道撤销原因之日起一年内行使。
我国实行房产登记制度，房产的归属随着房产登记的转移而转移，房屋既然已经过户，也就意味着房屋赠与已经完成，要想再要回房屋基本上是不可能的。但如果受赠方同意也不是没有要回的可能。
赠与合同一般具有以下性质：
1、双方行为。赠与合同须当事人双方意思表示一致才能成立，如果赠与人有赠与的表示，但受赠人并没有接受的意思，则合同仍不能成立，故与馈赠这种单方行为不同。
2、是吸收了诺成合同与实践合同的合理因素。诺成行为。多数国家承袭罗马法的传统，规定赠与合同在当事人双方意思表示一致时即告成立，不必等待交付赠与物，即为诺成行为。
3、无偿行为。除合同中双方约定附条件的义务外，原则上受赠人可以将房屋收回。
总结：
如果父亲是赠予的房产，但对赠与人有扶养义务而不履行，可在一年内撤销，也就是可以要回去。
法律依据：
《中华人民共和国民法典》
第六百六十三条 受赠人有下列情形之一的，赠与人可以撤销赠与：
（一）严重侵害赠与人或者赠与人近亲属的合法权益；
（二）对赠与人有扶养义务而不履行；
（三）不履行赠与合同约定的义务。赠与人的撤销权，自知道或者应当知道撤销事由之日起一年内行使。