可以向法院起诉，理由是他侵害了你的相邻权中的通行权。请求法院判令被告排除妨害，并赔偿损失。排除妨害就是要求对方拆除围墙。如法院支持你的诉讼请求，对方扔不拆除，可以申请法院强制执行，由法院强行拆除，拆除费用由对方承担。当然，在法院主持下达成调解协议是最好的，这样对双方的关系影响比较小。
