교토 건설한 하타 가문, 왜 사라졌나