这就要看离婚协议是怎么分割的。如果法院判决房子归男方所有，女方净身出户。而且现在女方离婚不离家。又和第三者来往。这样你有权利把女方清除这个家。如果是离婚协议书财产分割这一块由房子由女方一半儿。这样如果女方与第三者来往，你是没有权利干涉的。这也是他离婚后的自由。
