代理人不用回避，回避制度适用于审判人员。
《民事诉讼法》第四十四条 回避理由
审判人员有下列情形之一的，应当自行回避，当事人有权用口头或者书面方式申请他们回避：
(一)是本案当事人或者当事人、诉讼代理人近亲属的;
(二)与本案有利害关系的;
(三)与本案当事人、诉讼代理人有其他关系，可能影响对案件公正审理的。审判人员接受当事人、诉讼代理人请客送礼，或者违反规定会见当事人、诉讼代理人的，当事人有权要求他们回避。审判人员有前款规定的行为的，应当依法追究法律责任。前三款规定，适用于书记员、翻译人员、鉴定人、勘验人。
《刑事诉讼法司法解释》第一百九十四条 审判长应当询问当事人及其法定代理人、辩护人、诉讼代理人是否申请回避、申请何人回避和申请回避的理由。
当事人及其法定代理人、辩护人、诉讼代理人申请回避的，依照刑事诉讼法及本解释的有关规定处理。
同意或者驳回回避申请的决定及复议决定，由审判长宣布，并说明理由。必要时，也可以由院长到庭宣布。