双方当初的协议约定，在民政局办理离婚手续时就已经通过民政局确认扶养权人了。在要回子女的扶养权就需要双方协商变更扶养权人。如果双方不能协商达成就需要经法院诉讼变更扶养权。
只能是到法院来起诉办理了
怕是难了，但去看孩子，也一样跟你亲。
