Het boterde direct al niet echt tussen de Portugese en Hoogduitse Joden. De Joodse gemeente die Portugezen aan het begin van de zeventiende eeuw hadden opgericht was uitsluitend bestemd voor Conversos, leden van de Spaans-Portugees Joodse natie. Zij worden ook wel de eerste moderne Joden genoemd, geïntegreerd in de Spaanse en Portugese samenleving. Ze waren in veel gevallen succesvolle kooplieden of wetenschappers, die vaak hun studies aan een universiteit in Spanje en Portugal hadden afgerond. Daardoor waren ze goed op de hoogte van de laatste trends van de Europese cultuur. Verbaasd keken zij in Amsterdam dan ook vanuit hun cultuur van Spaanse trots en superioriteit naar de aanwassende stroom immigranten, getto-Joden, die vanuit het Duitse Rijk en Polen, op zoek naar nieuwe mogelijkheden en op de vlucht voor pogroms en economische crises, naar Amsterdam kwamen.
Ondanks het feit, dat Asjkenaziem in 1635 een eigen gemeente oprichtten, bleven zij nog lange tijd financieel afhankelijk van de Portugezen. Veel Hoogduitse Joden werden bedelend op straat aangetroffen en daarom vaak opgesloten in het Rasphuis, één van de zogenaamde verbeterhuizen van de stad. Daar moesten zij dan hout raspen, bestemd voor de verfindustrie. Ondertussen konden zij zich niet aan de Joodse wetten houden, zoals het kasjroet, en de viering van de sjabbat in acht nemen. Daarom besloot de Portugese gemeente in 1642 een werkhuis op te richten om Hoogduitse en Poolse Joden van de straat te houden, hen een vak te leren en hen eventueel weer terug te sturen in oostelijke richting. Daarmee zou ook de reputatie van Joden in de stad zo min mogelijk schade oplopen en was hun positie gegarandeerd.
Daartoe werd een charitatieve vereniging opgericht onder de naam Abodat Hahesed die tot 1670 als zodanig dienst deed. We weten niet waar het gebouw heeft gestaan, maar wel dat daar vooral textiel werd vervaardigd. In 1670 vond de Portugese gemeente het welletjes geweest en achtte zij de Asjkenazische gemeente in staat voor haar eigen armen te zorgen, ook voor de mensen die in de marge van de samenleving waren beland. Wel werkten de gemeentes veel samen, maar het waren veelal de Asjkenaziem die door de Portugezen werden ingeschakeld voor het hand- en sjouwwerk dat zij liever niet deden. Ondanks het feit dat de Hoogduitse gemeente in de achttiende eeuw in omvang en langzamerhand ook in economisch opzicht de Portugese gemeente overvleugelde, is de verhouding tussen de twee groepen altijd op een wat gespannen voet blijven staan en traden de Portugezen tot ver in de twintigste eeuw de Hoogduitse en Poolse Joden met enige neerbuigendheid tegemoet.