노동당의 반이민 시위 대응, '순수한 책임 회피'