依据我国相关法律的规定，家事调查员回避的情形包括是一方当事人或者其代理人近亲属的、与纠纷有利害关系的等。
《最高人民法院关于进一步深化家事审判方式和工作机制改革的意见(试行)》
20.家事调查员有下列情形之一的，当事人有权申请回避：
(1)是一方当事人或者其代理人近亲属的;
(2)与纠纷有利害关系的;
(3)与当事人、代理人有其他关系，可能影响公正调查的。
家事调查员有上述情形的，应当自行回避，但是双方当事人同意由该调查员调查的除外。
家事调查员的回避由人民法院决定。
首先，当事人不能随意要求审判人员回避，只能在出现了民事诉讼法第40条规定必须回避的情形，而且审判人员又没有自行回避的情况下，才可以提出回避申请。根据民事诉讼法的规定，必须回避的情形有三种：
第一，参加本案审理的审判人员是本案的当事人或者当事人的近亲属应当回避。审判人员是本案的当事人，只能以当事人的资格参加诉讼，不能同时又以审判人员的资格参加对案件的审判。审判人员是本案的当事人的近亲属，有可能为照顾亲属的利益，影响案件的公证审理。因此须回避。
第二，审判人员与本案有利害关系应当回避。这种情况对案件的审判涉及他个人的利益，不允许其参加对案件的审判。
第三，与本案当事人有其他关系，可能影响对案件的公正审理时，应当回避。其他关系是指除上述关系外的社会关系，如师生、同学、朋友等关系。
审判人员与本案当事人存在这些关系，有可能影响对案件的公正审理，不应该参加对案件的审判。
其次，当事人如果认为审判员、书记员、翻译人员、鉴定人有上述法律规定必须回避的情形，应当在案件开始审理时提出回避申请，请求更换审判人员，申请可以用口头或书面方式提出，申请中必须根据法律规定，说明要求他们回避的理由，法律规定当事人在案件开始审理之后，法庭辩论终结之前，发现可以申请回避的事实和理由，仍然可以提出回避申请。但是，如果当事人在案件开始审理时，已经知道审判人员及其他人员应行回避的事实和理由，只是在法庭辩论结束之后，认为自己可能要败诉，才提出回避申请，其申请有可能不被给予接受。