L'intera zona nord-orientale di Favignana è fatta di tufo e presenta l'aspetto assolutamente singolare di innumerevoli cave, grotte, sprofondamenti ed erosioni. Il tufo fu per secoli, insieme con la pesca e l'agricoltura, fonte primaria di guadagno per la popolazione; dentro questa roccia sedimentaria si muoveva un piccolo esercito di cavatori abilissimi e intorno a loro manovali, carrettieri, marinai delle tre isole e di Trapani. Non si sa con esattezza a quando risalga lo sfruttamento del sottosuolo isolano : i vecchi ne parlano come di un'attività connaturata con Favignana e c'è chi lo fa risalire ad epoca romana. Gli arabi chiamavano le cave " le mafie ". Negli ultimi due secoli e mezzo questa attività prese un eccezionale sviluppo. La lavorazione era basata sul cottimo: il cavatore prendeva in appalto un terreno, lo preparava a proprie spese liberandolo dal " cappellaccio ", cioè dal calcare di pietra durissima superficiale che poteva avere anche uno spessore di 1-2 metri; quindi cominciava il lavoro di estrazione del tufo in blocchetti (conci) già perfettamente squadrati : cm 25 X 50 oppure 20 x 40 oppure 25 x 25. Egli veniva pagato a seconda dei blocchi consegnati: perciò lavorava dall'alba al tramonto, 12 o 14 ore, portandosi appresso i figli dall'età di 8-10 anni. Le cave potevano essere del tipo qui detto a cielo aperto, ma spesso la roccia veniva attaccata lateralmente con gallerie dal livello del mare, al fine di raggiungere il materiale piú pregiato per compattezza e grana, che è sempre il piú profondo. Si lavorava dal sotto in su, scavando nello stesso tufo delle tacche cui aggrapparsi mani e piedi, facendo attenzione di lasciare grandi pilastri a sostegno delle volte rocciose che andavano formandosi a mano a mano che le caverne ingigantivano. Cala Rossa è tutta un intrico di tali impressionanti costruzioni a « pileri », veri antri dedalici che si internano per centinaia di metri, in cui generazioni di cavatori trascorsero 50-60 anni di lavoro al buio, abbarbicati alla roccia o trasportando a spalla milioni di conci verso le barche o i carri. E le piste rocciose fuori delle cave sono tutte scritte dai pesanti solchi dei carri che arrancavano in salita, mentre le coste marine mostrano i segni dei molti piccoli attracchi per il carico a spalla su barche a vela che ininterrottamente facevano la spola da e per Trapani, Levanzo, Marettimo. Gli strumenti usati erano la " mannara ", una specie di piccozza dalla " penna " o taglio largo, che serviva per tracciare e approfondire nella roccia i contorni del blocchetto di tufo o " cantuna "; lo " zappune " e il " piccune ", coi quali si estirpava il blocco. Nessun altro arnese aiutava il cavatore, che lavorava esclusivamente a occhio.