依据我国相关法律的规定，家事调查人员与案件当事人有利害关系的，当事人是有权申请家事调查人员回避的，家事调查人员也可以自行回避。
《最高人民法院关于进一步深化家事审判方式和工作机制改革的意见(试行)》
20.家事调查员有下列情形之一的，当事人有权申请回避：
(1)是一方当事人或者其代理人近亲属的;
(2)与纠纷有利害关系的;
(3)与当事人、代理人有其他关系，可能影响公正调查的。
家事调查员有上述情形的，应当自行回避，但是双方当事人同意由该调查员调查的除外。
家事调查员的回避由人民法院决定。
回避，是指人民法院审判某一案件的审判人员和其他有关人员，在与案件有利害关系或其他关系，有可能影响案件公正处理时，自行退出或依当事人申请退出案件审理的制度。
我国刑事诉讼法规定可以申请回避的对象为案件的审判人员、检察人员、侦查人员、书记员、翻译人员和鉴定人等办案人员。有下列情形之一的，当事人及其法定代理人有权要求他们回避：
(一)是本案的当事人或者是当事人的近亲属的;
(二)本人或者他的近亲属和本案有利害关系的;
(三)担任过本案的证人、鉴定人、辩护人、诉讼代理人的;
(四)与本案当事人有其他关系，可能影响公正处理案件的。
在案件的办理过程中，当事人及法定代理人、辩护人、诉讼代理人发现存在上述情形的，可以要求有关人员回避，回避申请被驳回后，还可以依法申请复议一次。