那有这样的,明显的违法行为,婚姻自由收法律保护,一份不给,把合同留着,去法院起诉,诉求是要求法院判决该合同无效,肯定赢,关于基层部门有无对私生子罚款的权利,县政府咨询,这个很可能是要交钱,另外你可以找县妇联咨询
不给