Pats vecākais Rīgas dzīvojamo namu komplekss saglabājies vēl no 15. gadsimta. Cieši kopā saspiedušos trīs namus jau senos laikos dēvēja par Trīs brāļiem – leģenda vēsta, ka tos tiešām uzcēluši vienas ģimenes vīrieši. Vairākus gadsimtus vecajās celtnēs mūsdienās iekārtots Arhitektūras muzejs un Valsts kultūras pieminekļu aizsardzības centrs.
Viduslaikos Mazā Pils iela atradās Rīgas nomalē - to apdzīvoja amatnieki, arī vecākajā no Trīs brāļu ēkām (Nr.17) noritējusi gan ražošana, gan tirdzniecība. Šī ēka, bez liekiem greznojumiem, celta ap 1490. gadu – piedurvju akmens stabi bijusi vienīgā mājas rota. Namā bijusi viena liela telpa, kurā noritējis gan darbs, gan tirdzniecība, gan sadzīve, tā joprojām saglabājusi vēsturisko izskatu.
Vidējais “brālis” ir pats greznākais, tas celts 1646. gadā. Virs ieejas redzams uzraksts “Soli deo gloria!”, fasāde veidota holandiešu manierisma stilā, tā restaurēta pēc J.K.Broces 1785. gada zīmējuma. Atšķirībā no vecākā nama, šajā ēkā virs halles bijusi plaša zāle ar lieliem logiem, īpaši izveidotas dzīvojamās telpas atradās arī nama pagalma pusē.
Savukārt trešā ēka (Nr.21) celta 17. gadsimta otrajā pusē, katrā stāvā bijuši izvietoti nelieli dzīvoklīši. Īpaši interesants fasādes elements – maska, kas, pēc nama īpašnieku domām, aizsargājusi iemītniekus no ļaunajiem gariem.