El castillo se levanta sobre las ruinas de un antiguo monasterio benedictino consagrado a Santa María del Monte del que prácticamente no quedan huellas. Las guías suelen referirse a Castel del Monte como un antiguo pabellón de caza real, pero entre los expertos hay muchas dudas sobre su cometido original. Hay quien sostiene que fue una construcción defensiva, a pesar de que es muy diferente a los castillos de esta naturaleza propios de la época, o bien que fue uno de los lugares de residencia preferidos por el rey.