In 1849 vestigt de uit Keulen afkomstige Emil Mayer zich in Antwerpen, waar hij de leiding heeft over een groot filiaal van het familiebedrijf Ensingh, later Mayer geheten, een handel in specerijen en farmaceutische producten. Emil werkt zich in Antwerpen snel op tot een van de belangrijkste zakenlui, waarbij hij van 1865 tot 1879 lid is van het Disconto-Comité. In 1857 trouwt hij met Henriëtte, dochter van Jan van den Bergh, die eveneens tot de kring van Antwerpse notabelen behoort. Jan beheert de 'Distillerie & Brasserie La Cloche' aan de Oude Leeuwenrui 7-11 met een jeneverstokerij aan de Brouwersvliet 26-32. Dit familiebedrijf zal op deze plaats tot aan de Eerste Wereldoorlog blijven bestaan en uiteindelijk pas omstreeks de Tweede Wereldoorlog zijn activiteiten geheel staken. De producten van de stokerij worden over de gehele wereld uitgevoerd. Jan van den Bergh is daarnaast gemeenteraadslid, schepen, senator en consul van Griekenland. Dit is het kader waarin Fritz Mayer als oudste zoon van Emil en Henriëtte op 22 april 1858 in Antwerpen wordt geboren. Met het vooruitzicht op een diplomatieke carrière begint Fritz aan de Gentse universiteit eerst een studie Letteren en Wijsbegeerte, om het jaar daarop over te schakelen op Rechten. Hij breekt die studie af als zijn vader in november 1879 overlijdt en blijft bij zijn moeder wonen. De zaak laat hij beheren door zijn jongere broer Oscar en samen met zijn moeder gaat hij kunstwerken verzamelen. Zijn sterke moederbinding blijkt ook uit het toevoegen van haar naam aan de zijne wanneer hij in 1887 in de adelstand wordt verheven en in 1888 de titel van Ridder krijgt. Aanvankelijk verzamelt Fritz Mayer van den Bergh vooral oudheden met een duidelijke voorkeur voor munten en textiel. Hij geldt op die twee gebieden als expert, wat een grote kennis van de geschiedenis en de diverse technieken inhoudt. Naast zelfstudie reist Fritz heel veel, soms samen met zijn moeder. Het stadsbestuur van Antwerpen vraagt hem in 1890 om de numismatische verzameling van het Oudheidkundig Museum in Het Steen te ordenen. In 1891 en 1892 verkoopt Fritz een belangrijk deel van zijn eigen verzameling om een beter uitgebalanceerde collectie tot stand te kunnen brengen, met een nadruk op schilder- en beeldhouwkunst en een zekere voorkeur voor de middeleeuwen. In de kunstenaarsvereniging 'De Scalden' ontmoet Fritz onder meer Pol de Mont, Edmond van Offel, Karel van de Woestijne en Prosper van Langendonck. In 1897-'98 vertaalt hij een aantal Duitse middeleeuwse legenden in het Nederlands, waarbij Edmond van Offel voor illustraties zorgt. In 1902 geeft zijn moeder die uit onder de titel 'Rijnse Legenden'. Door een ongelukkig val van zijn paard komt Fritz in 1901 op 43-jarige leeftijd om het leven. Na zijn dood laat zijn moeder Henriëtte een museum voor de collectie van haar zoon bouwen in een speciaal daartoe opgericht gebouw, pal naast de familiewoning die rechts ervan staat. Architect Jos Hertogs heeft de indeling van een voor- en achterhuis gerespecteerd. De zalen zijn in overeenstemming met de collectie ingericht in neogotiek, neo-Vlaamse renaissance en Lodewijk XVI-stijl. Sinds 1951 is het een stedelijk museum. Het meest opmerkelijke schilderij is Dulle Griet van Pieter Brueghel de Oude, dat hij aankoopt in 1894 op een veiling in Keulen voor het geringe bedrag van 390 mark, omdat in die tijd weinig interesse voor dit soort kunst bestaat. Het schilderij doet erg Jeroen Bosch-achtig aan, met centraal een vrouw met een zwaard in de hand, die door een landschap trekt waarin zich gruwelijke dingen afspelen of afgespeeld hebben. Alles lijkt hier symbool te staan voor de gruwelen van de oorlog.