依据我国相关法律的规定，未成年子女的监护人是其父母，父母离婚的，不影响其监护人身份，所以不抚养子女的一方仍然是子女的监护人。
《中华人民共和国民法总则》
第二十七条 父母是未成年子女的监护人。
未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：
(一)祖父母、外祖父母;
(二)兄、姐;
(三)其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。
根据《依法处理侵害未成年人权益行为若干问题意见》第35条规定，被申请人有下列情形之一的，人民法院可以判决撤销其监护人资格：
1、性侵害、出卖、遗弃、虐待、暴力伤害未成年人，严重损害未成年人身心健康的;
2、将未成年人置于无人监管和照看的状态，导致未成年人面临死亡或者严重伤害危险，经教育不改的;
3、拒不履行监护职责长达六个月以上，导致未成年人流离失所或者生活无着的;
4、有吸毒、赌博、长期酗酒等恶习无法正确履行监护职责或因服刑等原因无法履行监护职责，且拒绝将监护职责部分或者全部委托给他人，致使未成年人处于困境或者危险状态的;
5、胁迫、诱骗、利用未成年人乞讨，经公安机关和未成年人救助保护机构等部门三次以上批评教育拒不改正，严重影响未成年人正常生活和学习的;
6、教唆、利用未成年人实施违法犯罪行为，情节恶劣的;
7、有其他严重侵害未成年人合法权益行为的。