En la blockchain, que es el histórico de bloques validados, tienes el balance en bitcoins de todas las direcciones bitcoins. Cualquiera que posea la clave secreta de la dirección bitcoin puede transferir bitcoins de esa dirección a otra. Tu "propriedad" de los bitcoins se basa en la posesión de la clave privada que se encuentra en un fichero wallet.dat creado por el cliente oficial.
Esa es la idea ingeniosa.
Cuando efectuas un pago (transferencia de bitcoins) tu transacción se distribuye a la red de mineros firmada con tu clave secreta. De esa manera la incluyen en el siguiente bloque que se valida. Si efectúas un segundo pago con el mismo bitcoin, sólo una de las transacciones se incluirá en el próximo bloque validado con lo cual sólo una transacción quedará registrada. Sólo podrás gastar tu bitcoin una sola vez. Todo el sistema de validación de bloques está pensado para evitar el "double spending" (doble gasto) y controlarlo de forma descentralizada.
En realidad tú no guardas los bitcoins. La blockchain, que es el histórico de bloques validados, guardan la historia de todas las transacciones y por lo tanto de los balances de todas las direcciones bitcoin. El bitcoin en realidad no existe. Sólo existen balances de bitcoins en las direcciones bitcoins utilizadas.