坟地毁坏赔偿有一家人做坟地做到我家的老坟地（大约40年）后面不到3米的地方，把我家坟地的后主（当地的说法）都埋在对方的坟地下面了，当时双方都在当地大队干部面前协商好（口头的）没解决好谁迁移的情况下不要把骨灰放进去的，后来对方毁约在我们不知的情况下把骨灰放了进去，我方当时愤怒就把对方的坟地摧了，后来政府维稳中心·派出所·当地村干部来调解我方要赔给对方的损失费用，不然就要追究我方的法律责任，我方迫于这个责任就赔了并写了协议书都签了名，我们对这个协议现在觉得不合理，我想问问我当时这种行为现在可以反悔要回那赔上的钱或起诉对方吗？而我方又要承担什么样的法律责任呢？