依据我国是的法律的规定，法院工作人员违反规定不回避的，给予警告、记过或者记大过处分;情节较重的，给予降级或者撤职处分;情节严重的，给予开除处分。
《人民法院工作人员处分条例》
第三十条 违反规定应当回避而不回避，造成不良后果的，给予警告、记过或者记大过处分;情节较重的，给予降级或者撤职处分;情节严重的，给予开除处分。
明知诉讼代理人、辩护人不符合担任代理人、辩护人的规定，仍准许其担任代理人、辩护人，造成不良后果的，给予警告、记过或者记大过处分;情节较重的，给予降级处分;情节严重的，给予撤职处分。
首先，当事人不能随意要求审判人员回避，只能在出现了民事诉讼法第40条规定必须回避的情形，而且审判人员又没有自行回避的情况下，才可以提出回避申请。根据民事诉讼法的规定，必须回避的情形有三种：
第一，参加本案审理的审判人员是本案的当事人或者当事人的近亲属应当回避。审判人员是本案的当事人，只能以当事人的资格参加诉讼，不能同时又以审判人员的资格参加对案件的审判。审判人员是本案的当事人的近亲属，有可能为照顾亲属的利益，影响案件的公证审理。因此须回避。
第二，审判人员与本案有利害关系应当回避。这种情况对案件的审判涉及他个人的利益，不允许其参加对案件的审判。
第三，与本案当事人有其他关系，可能影响对案件的公正审理时，应当回避。其他关系是指除上述关系外的社会关系，如师生、同学、朋友等关系。
审判人员与本案当事人存在这些关系，有可能影响对案件的公正审理，不应该参加对案件的审判。
其次，当事人如果认为审判员、书记员、翻译人员、鉴定人有上述法律规定必须回避的情形，应当在案件开始审理时提出回避申请，请求更换审判人员，申请可以用口头或书面方式提出，申请中必须根据法律规定，说明要求他们回避的理由，法律规定当事人在案件开始审理之后，法庭辩论终结之前，发现可以申请回避的事实和理由，仍然可以提出回避申请。但是，如果当事人在案件开始审理时，已经知道审判人员及其他人员应行回避的事实和理由，只是在法庭辩论结束之后，认为自己可能要败诉，才提出回避申请，其申请有可能不被给予接受。