V Gudenově jeskyni v údolí řeky Kleine Krems u Albrechtsbergu byly nalezeny jediné stopy neandertálců v Rakousku. Sluj tvořená zčásti mramorem byla osídlena již před 100.000 lety jak bylo zjištěno na základě archeologických nálezů – mezi nimi kostěnná píšťala, nejstarší hudební nástroj Rakouska. Kremská údolí jsou zajímavá nejen kvůli geologii a historii, nýbrž i jejich krajina je pokládána za velmi půvabnou. „Zwickl“ – soutok řek Große a Kleine Krems – považují odborníci za jedno z nejidyličtějších míst Waldviertelu. Již v 19. století byla pokládána kremská údolí za velmi atraktivní turistické regiony.