A ver:
-La esperanza matemática es un concepto que te da el valor medio esperado, y en este sentido te sale 3.5 que es un número decimal pero que matemáticamente tiene sentido, pues es el punto medio de la recta que representaría los números del 1 al 6. Otra cosa es que físicamente tenga sentido, pues en un dado o será 3 o será 4.
-Como ya te han comentado por la ley de los grandes números, esto simplemente significa que para un número considerable de tiradas (idealmente tendiendo a infinito) si hicieras la media aritmética observarías que el valor esperado tiendo a 3.5. E insisto que entiendo que físicamente en el caso de un dado no tiene sentido, pero no todos los conceptos matemáticos lo tienen en todos los casos. Pero esto plantea otro dilema que es que tampoco podemos pensar que el mayor número de tiradas corresponda con "3" o "4".
Por cierto para cuantificar la incertidumbre de estos dilemas probabilísticos existe un concepto en teoría de la información denominado entropía de variable aleatoria y que básicamente te da el número de bits necesarios para codificar estos sucesos probabilísticos.
Sea X ={x1, x2,....xn} con f.d.p {p1, p2,....pn} se define H(X)=Sum (i=1..n)[-pi x log2(pi)]. Así para el caso más trivial que sería cara/cruz tendrías una equiprobabilidad de 1/2 y simplemente necesitarías 1 bit para codificar (Ó es 0 ó es 1).