依据我国相关法律的规定，劳动者离职后违反竞业限制协议的，违约金按合同约定支付，如果没有约定的，依据主观恶意程度、实际违约事实、造成损失等因素确定。
《中华人民共和国劳动合同法》
第二十三条 【保密义务和竞业限制】用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。
对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。
第二十四条 【竞业限制的范围和期限】竞业限制的人员限于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。竞业限制的范围、地域、期限由用人单位与劳动者约定，竞业限制的约定不得违反法律、法规的规定。
在解除或者终止劳动合同后，前款规定的人员到与本单位生产或者经营同类产品、从事同类业务的有竞争关系的其他用人单位，或者自己开业生产或者经营同类产品、从事同类业务的竞业限制期限，不得超过二年。
首先，公司与员工签订竞业限制协议，因为当前我国法律无明确约定，所以，可以根据双方意愿确定违约金。
其次，实际中对过高或过低的违约金的处理如下：
1、如果因为约定的违约金过分高于造成的损失的，可以请求人民法院或者仲裁机构予以适当减少;
2、如果约定的违约金数额过低的，并且已经低于实际损失的，可以去人民法院提出主张，最后将按实际损失赔偿。
所以，离职后员工违反竞业限制协议，并且发现违约金过高的，即可以去法院主张降低。
当然，实际中有些员工违约，是因为公司未按规定支付经济补偿金在先，那么员工为此遭受违约损失的，公司经员工要求仍不支付的，员工可以解除竞业限制协议。否则，员工不得以违反约定主张自己的损失，会得不偿失。