Karen Toller var en norsk skipseier og godseier. Gjennom arv ble hun en av Christianias rikeste kvinner, og hun fikk oppført Oslo Ladegård i 1725.
Toller ble enke i 1718, og overtok driften av flere virksomheter etter sin mann, Caspar Herman Hausmann. Hun bidro også til opprettelsen av et fattigsykehus.
Som eier av Bispegården i Oslo oppførte hun her en prangende ny bygning i 1725. Etter en tid ble navnet Oslo Ladegård knyttet til denne bygningen og ikke lenger til det jordegodset i Gamlebyen som tidligere hadde ligget under Akershus slott.