Wann sich die Siedlung Seiffen herausbildete, ist nicht bekannt. Die ersten Bergleute bauten ihre Hütten vielleicht auf einer kleinen Anhöhe, damit sie vor Hochwasser geschützt waren, aber doch in unmittelbarer Nähe ihrer Bergwerke – der Zinnseifen. Caspar von Schönberg betrieb seit um 1480 Bergbau.
Im Jahre 1501 lebten in Seiffen 10 Familien. 1617 waren es 12 Erbangessene und 28 Häusler, das waren meist Bergleute mit kleinem Landbesitz, außerdem 13 Hausgenossen. Die meisten Bergleute waren Eigenlehner, die eine Zinnseife mit ihrer Familie betrieben. Um die Familie zu ernähren, genügten oft weder die Einkünfte als Bergmann noch die Einkünfte als Kleinbauer. Das gesamte landwirtschaftlich nutzbare Land in Seiffen wird 1701 lediglich auf 2 1/2 Hufen geschätzt, zieht man dazu noch die kargen Böden und das raue Klima in Betracht, so werden die Härte und Einfachheit des Lebens hier deutlich. Nur in der Doppelberufigkeit – als bäuerliche Bergleute – konnten sie hier überleben. Kamen zu dieser kargen Lebensweise noch Hungersnöte oder Seuchen, wurden sie sofort von bitterer Armut betroffen.
Auch um die in diesen Situationen notwendige Gemeinsamkeit zu stärken und jedem zumindest ein würdiges Begräbnis zu sichern, gründeten Seiffener und Heidelberger Bergleute bereits 1686 eine Knappschaft, die ob ihres Hauptanliegens auch als Begräbnisbrüderschaft zu bezeichnen ist. 1690 wurde auch schon für 1 Taler und 12 Groschen ein Berglädchen angeschafft. Da jedoch Missbrauch und Unordnung im Laufe der Jahre überhand genommen hatten, erließ der Grundherr Wolf von Schönberg als Regalinhaber 1703 eine neue Satzung. Der Titel der Schrift Im Namen der heiligen, hochgelobten Dreifaltigkeit. Neu aufgerichtete und verbesserte Leges einer löblichen Bergknappschaft zu Seiffen zeugt von dem tiefen Glauben der Bergleute, wodurch dem Inhalt der 25 Artikel auch Nachdruck verliehen wird.
Auch die Bergmannsfamilien hatten oft acht bis zehn Kinder. Sie wohnten in einem kleinen, aber meist eigenen, Haus, das über zwei Zimmer und vielleicht einen kleinen Stall im Erdgeschoss und zwei Dachkammern verfügte. Eine Besonderheit vieler erzgebirgischer Häuser war die Toilette, die lediglich aus einem Bretterverschlag bestand, der sich am Giebel befand. Derartige „Freischwinger“, wie man den Anbau nannte, wurden teilweise noch bis in die 60er Jahre des 20. Jahrhunderts genutzt.
Mitte des 18. Jahrhunderts, während des Niederganges des Seiffener Bergbaues, wurde um dessen Fortgang stark spekuliert. Gewerke bildeten sich unter anderem in Freiberg, Torgau, Leipzig und gar in Frankfurt/Main. Aber auch einfache Leute wie Dienstmägde, Soldaten, Mühlknappen und Handwerker besaßen Kuxe, die jedoch zu dieser Zeit keine Gewinne mehr einbrachten.
1753 wurde die Quatembersteuer enorm erhöht. Bergleute mussten diese Steuer zwar nicht zahlen, sie sollten dafür den Bergbau stärker fördern. Aber es gab nur noch wenige Bergleute, denn die Ausbeute war gering geworden und so wurden viele Bergleute zu Tagelöhnern, bei denen diese Steuer eingetrieben wurde. So richtete der Heidelberger Richter eine Eingabe an den Kurfürsten und schrieb unter anderem: „Die Exekutores Steuereinnehmer werden anzeigen können, wie sie manchmal 10 bis 12 Hütten durchgehen und dort nicht den mindesten Vorrat von Viktualien noch Kleidungsstücken antreffen, sondern nur einen Haufen nackend, auf Stroh herumliegender Kinder finden, deren Vater bis zu einem Vierteljahr auswärts bettelt, während Frau und Kinder am Hungertuch nagen.“ Darüber hinaus berichtet die Eingabe von einem blutarmen Bergmann, von Bergsucht, von einem jämmerlich verunglücktem Bergmann, von einem Bettelweib und einem rasenden Sohn, der seit Jahr und Tag an der Kette liegt.“ Dennoch lehnte der Kurfürst eine Herabsetzung der Steuer ab.
Dieses erschütternde Bild aus der Mitte des 18. Jahrhunderts zeigt, dass der Bergbau zu dieser Zeit nur noch sehr wenige Menschen im Dorf ernähren konnte. Ein Großteil der Bergmannsfamilien war in Armut gefallen.