Det är ju helt omöjligt att säga utan att ta reda på var det är mögligt. Men när jag själv letade efter fritidshus resonerade jag som så att om de luktade mögel när jag var i huset, eller som i ert fall, om mina kläder hade luktat mögel efter att bara varit där en kort stund så var inte huset aktuellt.
Men med det sagt kan det mesta gå att åtgärda men det kan dels kräva mycket letande för att hitta källan/källorna och dels innebära mycket jobb (och kostnader) att komma tillrätta med.
Att ägaren sprayar doftspray tyder ju på att vederbörande ville dölja lukten. Det känns inte som en bra grund för affär, tycker jag.
Välkommen till forumet, och gott nytt år!