Der Bergrücken der Karlshöhe liegt in Fortsetzung des Hasenbergs zwischen den Stadtteilen Süd und West. Die Hänge (mit Ausnahme des nördlichen Hanges) wurden bis Ende des 19. Jahrhunderts als Weinberge genutzt, während die Kuppe im Mittelalter zum Abbau von Schilfsandstein diente (Stiftskirche, Altes Schloss, Ulmer Münster) und danach verödete. Der Verschönerungsverein erwarb 1864 den durchlöcherten Berggipfel und gestaltete ihn zur öffentlichen Parkanlage um. 1889 wurde er zu Ehren des 25-jährigen Regierungsjubiläums von König Karl in "Karlshöhe" umbenannt. Zur Bundesgartenschau 1961 legte man die Grünanlagen am südlichen und nördlichen Hang (Milchbar mit Weinberg und Silberburganlage) an, 1985/90 wurde die Villa Gemmingen mit der Parkanlage saniert.