Yo en su momento, hace diez años, no tuve ningún problema para cambiar de cuenta vivienda ... con Hacienda, ninguno, con la entidad que abandonaba (Caja Mandril) alguno que solventé gracias a la información de la OCU y amenazas de denunciarles ..
Según leí en la OCU , es fundamental que todo lo que entra en la cuenta vivienda sólo salga para ir a la compra de vivienda, incluyendo el ingreso en una nueva cuenta vivienda , no vale que ahora necesito 500€ , los saco de la cuenta vivienda y los meto el mes que viene ... Puedes cambiar de cuenta y de entidad cuantas veces quieras, pero no hacer reintegros ..
Tampoco la cuenta tiene por qué tener el calificativo de Cuenta Vivienda, puede ser cualquier cuenta , siempre que respetes los requisitos de no reintegros para nada que no sea comprar vivienda.
Por cierto, Caja Duero, a la que sin merecérselo cambié, cuando fui a hacer efectivo el ingreso para comprar la vivienda me dijeron que era necesario darles una copia de mi contrato de compraventa

... todavía lo están esperando ..
El dinero que tengas en tu cuenta vivienda es tuyo y puedes diponer de él a tu gusto. Si has desgravado por él , deberás arreglar cuentas con Hacienda, no con tu banco o caja.
Supongo que habrás pasado por
Hacienda.