如果损害到拆迁安置协议第三人利益的，案外人可以申请撤销。想要撤销协议，同样可以与协议签订的双方进行协商的，协商不能达成一致的可以向人民法院提起民事诉讼，请求法院来判决解除合同。
《中华人民共和国合同法》
第五十二条 合同无效的法定情形
有下列情形之一的，合同无效：
(一)一方以欺诈、胁迫的手段订立合同，损害国家利益;
(二)恶意串通，损害国家、集体或者第三人利益;
(三)以合法形式掩盖非法目的;
(四)损害社会公共利益;
(五)违反法律、行政法规的强制性规定。
关于利害关系人与案外人有以下区别：
1、案外人与利害关系人不是一个概念。
案外人是指当事人以外的，认为自己对案件执行标的享有实体权利，要求阻确和排除人民法院强制执行，对人民法院的执行活动中实体性事项提出异议的人。民事执行程序中的案外人，因他认为自己享有实体权利，而提出要求排除执行的异议。
2、案外人是民事案件执行程序中特有的概念，是指对判决执行的标的提出异议的人，这个人不是民事诉讼的当事人，也不是利害关系人，这个人通常对被执行标的拥有所有权，而该权利被案件中的当事人或者利害关系人染指，造成权利被侵犯。
3、根据现有民事诉讼法律规定看，案外人无权对执行行为违法提出异议，因为民诉法第225条规定：当事人、利害关系人认为执行行为违反法律规定的，可以向负责执行的人民法院提出书面异议，从规定看，只有当事人和利害关系人，没有案外人。