Die Überlieferung berichtet davon, dass im Mittelalter, während Pestzeiten, die Bauern der Umgebung, zur Versorgung der Bürger der Stadt Bischofswerda, ihre Produkte wie Getreide, Mehl, Eier, Milch und eben die Butter auf den Butterberg brachten. Von dort holten dann diese Waren die Einwohner von Bischofswerda wieder ab. Übliches damaliges Transportmittel der kleinen Leute war der Schiebock, ein aus Holz gebauter Vorläufer der späteren Schubkarre.
Der Überlieferung nach, soll so der Butterberg zu seinem Namen gekommen sein und Bischofswerda zu seinem heute noch gebräuchlichen "Schiebock". Ob es sich tatsächlich so zugetragen hat, ist nicht belegt.
Belegt ist jedoch, dass im Jahre 1544 die Stadt Bischofswerda den Butterberg vom Rittergutsbesitzer, den Brüdern von Bolberitz auf Pickau, kaufte.
Zur "Verschönerung der hiesigen Stadtumgebung" fand am 30.April 1846 durch den Stadtrat eine Lokalerörterung auf dem Butterberg statt. Das Vorhandensein eines "Steigbaums" für die herrliche Aussicht und die Bude ließen erste Überlegungen zum Bau eines Turmes auf dem Butterberg aufkommen.Schon 1847 bot man einen "guten Imbiss und Erquickungen" an. 1849 konnte man ein 14 Fuß hohes Holzgerüst besteigen, 1852 gab es ein neu errichtetes erhöhtes Gerüst als Aussichtspunkt. Ein Holzhäuschen diente als Wirtschaft. Konzerte, Kegeln und Tanz wurden angeboten.
1858 beschloss der Stadtrat auf dem Berggipfel einen Turm mit Berggaststätte zu errichten. Gebaut werden sollte mit einheimischem Granit vom Butterberg und aus Schmölln, für Türrahmen und Fenster sollte Sandstein aus der Elbgegend zum Einsatz kommen. Das äußere Mauerwerk sollte roh bleiben und nur abgefugt werden. So ist es auch heute noch zu sehen.
Am 12.August 1860 konnte der 21m hohe steinerne Turm mit seinen 100 Stufen übergeben werden. Der Stadtrat verpachtete ab 20.November 1860 die Berggaststätte an den meistbietenden C.Wobst. Er war der erste von insgesamt 17 Wirten bis zum Jahr 2000.
Mit Engagement gingen die einzelnen Pächter an die Bewirtschaftung der Gaststätte heran, so dass die Besucher viele schöne Stunden auf dem Berg verbringen konnten. Zwei Fernwanderwege waren so angelegt worden, dass sie den Butterberg als lohnendes Ausflugsziel kreuzen müssen. Auch kleinere Wanderwege wurden markiert. Ab 1911 gab es einen Rodelverein, der den natürlichen Weg in Richtung Geißmannsdorf als Rodelbahn nutzte. Beliebt waren immer die traditionellen Pfingstkonzerte, die Treffen zur Winter- und Sommersonnenwende, die Weihnachts-, Silvester-, sowie Familienfeiern. Zusammenkünfte von Clubs und Wandervereinen fanden gute Bewirtung. Ferienlager und Wandertage von Schulklassen waren erlebnisreich.
Während dieser Zeit fanden immer wieder Veränderungen am Gebäude und dem Umfeld statt. Am 12.Juli 2000 kaufte ein privater Investor das restaurierungsbedürftige Ensemble von der Stadt Bischofswerda. Nach der völligen Rekonstruktion und Sanierung mit einer Umgestaltung der Außenanlagen konnte die Berggaststätte Butterberg am 09.Juni 2001 wieder eröffnet werden. Jetzt stehen den Gästen auch Übernachtungsmöglichkeiten zur Verfügung.
Inzwischen ist der Butterberg wieder beliebtes Ausflugsziel der Schönbrunner und auch der Bewohner aller anderen Orte rund um den Berg, lockt doch die Gaststätte ständig mit attraktiven kulturellen Angeboten.
