Die urkundliche Ersterwähnung Schernbergs stammt aus dem Jahr 772, die Urkunde wird in Marburg aufbewahrt. 1203 werden die Ritter von Schernberg urkundlich erwähnt. Im Jahr 1525 wurde Dietrich von Tettenborn, der Sohn des Ritters Bernhard von Tettenborn auf seinem Gut Schernberg erschlagen. Der Bau der St.-Crucis-Kirche erfolgte im Jahr 1565. Bereits wenige Jahre später wütete die Pest im Ort und forderte 1582 etwa 80 Opfer und 1597 nochmals etwa 88 Opfer. Von 1603 bis 1607 lehrt der Kantor Petersdorf aus Sondershausen die Schüler in Schernberg Latein. Dadurch erhielt Schernberg den Namen „Universitätsstädtchen“.
Am 1. Juni 1805 wurde der König Friedrich Wilhelm III. von Preußen mit seiner Gemahlin, der Königin Luise, auf der Durchreise von Nordhausen nach Erfurt vom Fürsten Günther Friedrich Karl I. und seinem Hofstaat auf der Schernberger Lehde begrüßt und bewirtet. Zur Erinnerung an dieses Treffen befindet sich auf dem "Königsplatz" eine Blutbuche. Seit 1834 besitzt Schernberg ein Justizsamt und im Jahre 1880 wurde eine Telegrafenbetriebsstelle in der Post eröffnet. Bis 1918 gehörte der Ort zur Unterherrschaft des Fürstentums Schwarzburg-Sondershausen. 1924 wird die erste Straßenbeleuchtung der Stadt in Betrieb genommen. Während des Zweiten Weltkriegs wird Gut Schernberg 1945 zum Frontbetrieb erklärt.
Am 10. April 1945 griffen US-Truppen eine deutsche Verteidigungsstellung am Chausseehaus "Graßecke" an der Straße Richtung Sondershausen an. Als es dabei zum Verlust eines US-Panzers kam, wurde Luftunterstützung angefordert. Jagdbomber griffen daraufhin nicht nur die Graßecke und deutsche Stellungen nördlich von Hohenebra an, sondern auch Schernberg selber. Dabei kamen 6 Zivilisten im Ort ums Leben und 22 Gebäude gerieten in Brand. Als an der Graßecke ein Jabo abgeschossen wurde, setzten die Amerikaner auch noch schwere Artillerie ein. 17 deutsche Soldaten der Wehrmacht kamen ums Leben, 14 von ihnen waren Jugendliche der Jahrgänge 1926 bis 1928. Sie waren Unteroffiziersschüler und Angehörige des Luftwaffen-Musikkorps in Sondershausen. Erst am 16. April durften sie feierlich unter großer Anteilnahme der Einwohner in einem Massengrab am Ort des Geschehens beigesetzt werden. Die Gebeine wurden dann 1949 auf den Friedhof der Gemeinde Schernberg umgebettet. Die Gräber unter einer großen Blutbuche waren auch zur Zeit der SBZ und DDR gepflegt und mit Holzkreuzen versehen. Nach der Wende setzte der Volksbund Deutsche Kriegsgräberfürsorge Steinkreuze für jeden Gefallenen.[1] Eine dreiköpfige Familie nahm sich in Schernberg vor der Besetzung durch die US-Truppen das Leben.