De verbondenheid van beide plaatsen gaat verder terug, namelijk 1406. Toen werd Zwaag door de graaf van Holland onder het stadsrecht van Hoorn gevoegd. 
Hoorn was van oudsher een handelsplaats met een haven aan de Zuiderzee. Inwoners waren betrokken bij de scheepvaart of werkzaam als ambachtslieden. Het buurtdorp Zwaag was een typische agrarische gemeenschap. De naam Zwaag duikt voor het eerst in de bronnen in het jaar 1245 op en is een oude Friese naam voor een weidegebied. Dit wijst erop dat vanaf het allereerste begin van de plaats hier voornamelijk koeien werden geweid. De boeren vestigden zich aan een ontginningsas midden in het gebied, de huidige Dorpsstraat, ze woonden in boerderijen op lage terpjes. Op de werven werden eenvoudige waterputten met wanden van veen en kleiplaggen gemaakt. De oudste bewoningsresten die tot nu toe in Zwaag bij de opgravingen zijn aangetroffen, dateren uit circa 1175 tot 1200. Zwaag is daarmee een stukje ouder dan Hoorn, waar de bewoning rond 1275 aanving. De kades rondom het ontginningsgebied en de ontginningssloten zijn nog goed ter herkennen, dit zijn de begrenzingen van het dorp en zijn nu Zwaagdijk, de Noorderdracht, het Keern en de Bangert en Koewijzend.1 gebouw dateert nog uit circa 1200, de Hervormde Kerk. 
Zwaag groeide door de eeuwen heen heel geleidelijk in bevolkingsomvang. Begin 14e eeuw bestond het dorp uit ongeveer 50 huizen. In de 15e eeuw nam dit aantal toe tot zo een 70 huizen. De meeste inwoners waren boer of landarbeider en bezaten slechts enkele koeien. Een enkeling bezat meer dan 10 koeien. In de 17e eeuw, De Gouden Eeuw van Holland, stonden er in Zwaag meer dan 100 huizen. Langs het dorpslint verschenen stolpboerderijen. Aan de Bangert was in die tijd een buurtschap ontstaan met bewoners die in de tuinbouw actief waren. Al vanaf de 15e eeuw waren hier fruitboomgaarden aanwezig. De naam Bangert hangt ook samen met een boomgaard.