디야의 거처 문제, 퇴거 압박까지