Leta 2001 se je Holly Madison preselila v Playboyev dvorec kot eno od deklet Hugha Hefnerja. V Madisoninih spominih Down the Rabbit Hole iz leta 2015 je razkrila, da se je takrat soočala z brezdomstvom in dolgovi na kreditni kartici. Nikoli ni bila Playboyeva sopotnica kot večina Hefovih deklet, vendar je pozirala gola za Playboyevo promocijsko številko za svoj resničnostni šov The Girls Next Door. Tam smo si lahko ogledali njeno življenje v dvorcu s Hefovima drugima dekletoma v tistem času, Kendro Wilkinson in Bridget Marquardt. Oddaja je bila predvajana na E! od 2005 do 2009.
Madison je prenehala delati za Playboy februarja 2009 po razhodu s pokojnim medijskim velikanom. V naslednjih letih bo odkrito spregovorila o svoji »travmatični izkušnji« s podjetjem. Posledično do danes ostaja najbolj priznana bivša oseba ustanovitelja Playboya. Tukaj je nekaj motečih stvari, ki jih je povedala o svojem času z njim in v Playboyevem dvorcu.
Holly Madison je rekla, da je njeno razmerje s Hughom Hefnerjem 'zelo stockholmski sindrom'
Vse Hefove bivše so se tako rekoč obrnile proti njemu, še posebej po njegovi smrti. Toda Madison je dal najbolj eksplicitne izjave o "strupenem" okolju, ki ga je ustvaril ustanovitelj Playboya. "Začela sem se počutiti, kot da sem zelo zaljubljena vanj, če pogledam nazaj, se mi zdi, da gre za nekaj zelo stockholmskega sindroma," je povedala manekenka v položaju "glavnega dekleta". "Počutila sem se, kot da sem se poistovetila z njim in da mi je na začetku dajal toliko komplimentov, da sem v mislih začela kriviti druge ženske za vse druge težave. Kot," Oh, to je bedna situacija, a če teh drugih žensk ne bi bilo tukaj, ne bi bilo tako.'" Prav tako je priznala, da je sprva mislila, da bo to "zabavna … nora izkušnja."
Madison je dodala, da se je zaradi Hefa zaradi odhoda počutila krivo. "Začel me je še bolj obremenjevati zaradi res neumnih stvari in pravkar sem ugotovila, kot da ne morem biti tukaj, kot da je ta tip bedak," je aprila 2021 povedala za Podcast Call Her Daddy." A kljub temu sem se počutila krivo, ko sem odšla. Potreboval je čas, trajalo je, da sem se zanimala za drugega moškega, preden sem si končno rekla: 'Moram potegniti vtič, ker ne bom varala.' To preprosto gre skupaj z vsemi stvarmi o bombardiranju ljubezni in "za vedno bova skupaj in bova skupaj do konca mojega življenja" in bla, bla, bla. Primerjal me je z Belle v Beauty in Beast, kot, pravkar sem prišel na ta grad." Ta Disneyjeva karta je vsekakor čudna.
Holly Madison je rekla, da je življenje v Playboyevem dvorcu "kultno"
Številne soigralke so spregovorile o "strogih" pravilih v Playboyevem dvorcu. Imeli so policijsko uro ob 21. uri, "strog kodeks ravnanja" in opozorila po elektronski pošti za vsako neprimerno vedenje. Toda glede na zvezdo Girl Next Door je bilo veliko bolj "strupeno" od tega. "Skoraj bi se rada zaprla v to škatlo, na nek način, kar tam ni bilo težko storiti, ker je tako ali tako zelo kultno vzdušje in si zmanipuliran, da se tako počutiš," je dejala o njen čas v dvorcu. V nekem trenutku se je tudi počutila, kot da se v zunanjem svetu nikoli ne bo prebila. "Tudi mene je tam zadržal moj lastni sram," je rekla.
Nadaljevala je: "Nisem si mogla predstavljati življenja zunaj tam. Kot sem si mislila, 'V redu, to je moja zadnja postaja. Če želim imeti otroke, bom poskusila.' In potem, ko sem vedela, da z njim to ne bo možno, kot da sva poskusila in vitro in vse ostalo. Ni delovalo. Sem si rekla, "V redu, no, če tukaj ne bom imela otrok, to je nekaj, o čemer moram razmišljati. To je na nek način res kot smrtna obsodba.'" Poleg tega je Madison v svoji karieri v Playboyu trpela tudi za telesno dismorfijo. "Za nedavno objavo sem iskala svoje slike v kostumu zajčka," je povedala v videu na TikToku. "In naletela sem na eno in to me je spomnilo na trenutek v mojem življenju, ko sem gledal posnetek sebe na modni reviji in pomislil: 'O moj bog, shujšati moram.'"
Svoje sledilce je spomnila: "To delim, ker mislim, da bi lahko ljudem pomagalo spoznati, da je včasih naša telesna dismorfija izven lestvic. Resnično se mi zdi, da me skrbi, kako izgledam, ovira živim svoje najboljše življenje in sem srečen, kolikor sem lahko, in res uživam v življenju, kolikor lahko." Nadalje je rekla, da je "smešno", kako je nekoč mislila, da mora shujšati, ko je dejansko "[izgledala] kot palica." V dokumentarni seriji Secrets of Playboy iz leta 2022 še ni razkrila več podrobnosti o temni plati Playboya.