依据我国相关法律的规定，劳动者离职后违反竞业限制协议的，离职赔偿金是不用退还的，但用人单位可以要求劳动者支付违约金。
《中华人民共和国劳动合同法》
第二十三条 用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。
对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。
1、违反保密协议、竞业限制协议
一般来讲，企业会和科技人员、行政管理人员、以及因业务上可能知悉技术秘密的人员或业务相关人员签订保密协议、约定竞业限制条款。签订了保密协议、约定竞业限制条款的员工，便负有保密义务，在解除或者终止劳动合同后，在竞业限制期限内企业会按月给予员工经济补偿。但是员工如果违反竞业限制约定的，应当按照约定向企业支付违约金。
2、侵犯商业秘密，可能构成犯罪
商业秘密，是指不为公众所知悉，能为企业带来经济利益，具有实用性并经企业采取保密措施的技术信息和经营信息。
员工如果有下列侵犯商业秘密行为之一，给商业秘密的企业造成重大损失的，可能构成侵犯商业秘密罪：
(1)以盗窃、利诱、胁迫或者其他不正当手段获取企业的商业秘密的;
(2)披露、使用或者允许他人使用以前项手段获取的企业的商业秘密的;
(3)违反约定或者违反企业有关保守商业秘密的要求，披露、使用或者允许他人使用其所掌握的商业秘密的。
要注意的是，员工明知或者应知前款所列行为，获取、使用或者披露企业的商业秘密的，以侵犯商业秘密论。
构成侵犯商业秘密罪的刑罚后果：
(1)处三年以下有期徒刑或者拘役，并处或者单处罚金;
(2)造成特别严重后果的，处三年以上七年以下有期徒刑，并处罚金。