유시민, 조국혁신당 지지층에만 영향력