依据我国相关法律的规定，家事调查员有回避情形的，应该自行回避，当事人也可以申请调查员回避，家事调查员的回避由人民法院决定。
《最高人民法院关于进一步深化家事审判方式和工作机制改革的意见(试行)》
20.家事调查员有下列情形之一的，当事人有权申请回避：
(1)是一方当事人或者其代理人近亲属的;
(2)与纠纷有利害关系的;
(3)与当事人、代理人有其他关系，可能影响公正调查的。
家事调查员有上述情形的，应当自行回避，但是双方当事人同意由该调查员调查的除外。
家事调查员的回避由人民法院决定。
回避制度是诉讼程序与判决结果公正的有力保障。当事人对于审判人员、检察人员、侦查人员、书记员、翻译人员、鉴定人、勘验人等有权提出回避申请。
当事人及其法定代理人在诉讼中，发现审判人员(执行人员)具有下列情形之一的，有权要求他们回避，他们也应当自行回避，
(一)是本案的当事人或者与当事人有直系血亲、三代以内旁系血亲及姻亲关系的;
(二)本人或者其近亲属与本案有利害关系的;
(三)担任过本案的证人、鉴定人、勘验人、辩护人、诉讼代理人的;
(四)与本案的诉讼代理人、辩护人有夫妻、父母、子女或者同胞兄弟姐妹关系的;
(五)本人与本案当事人之间存在其他利害关系，可能影响案件公正处理的。
当事人有权在下列情况下，对书记员、翻译人员、鉴定人、勘验人等用口头或者书面方式申请他们回避：
(一)是本案当事人或者当事人、诉讼代理人的近亲属;
(二)与本案有利害关系;
(三)与本案当事人有其他关系，可能影响对案件公正审理的。
当事人及其法定代理人发现审判人员具有下列情形之一的，有权要求回避，但应当提供相关证据材料：
(一)未经批准，私下会见本案一方当事人及其代理人、辩护人的;
(二)为本案当事人推荐、介绍代理人、辩护人，或者为律师、其他人员介绍办理该案件的;
(三)接受本案当事人及其委托的人的财物、其他利益，或者要求当事人及其委托的人报销费用的;
(四)接受本案当事人及其委托的人的宴请，或者参加由其支付费用的各项活动的;
(五)向本案当事人及其委托的人借款、借用交通工具。通讯工具或者其他物品，或者接受当事人及其委托的人在购买商品、装修住房以及其他方面给予的好处的。