Vrboska se razvila u XV. st. u dubokoj šumovitoj uvali sjeverne strane otoka kao naselje Vrbanja i okolnih sela (Svirče, Vrisnik, Pitve) - »čiji su stanovnici želili loviti srdele«. »Šćiga«, oscilacija vode u zavojitom morskom rukavu s otočićem u sredini, poput barometra najvešćuje promjenu vremena. Prvi stalni stanovnici osim kuća slikovitih po mostićima, kamenim uličicama, sagradiše crkvicu sv. Marije pod kojom će se od 1465. postupno oblikovati luka (u prvom redu zauzimanjem brodovlasnika Matije Ivanića, kasnijeg pučkog vođe). Krajem XV. st., dio pučanstva koji je tražio odcjepljenje od matične vrbanjske župe gradi crkvu sv. Lovrinca.

Oko prve se okupljala bratovština onih koji su željeli ostati pripadnici Vrbanja, oko druge oni koji bijahu za emancipaciju. Vrboska je najviše stradala u intervenciji mletačke flote 1510., u odmazdi prema pučkim pobunjenicima, te kasnije 1571. uprepadu Uluz-Alija zapovjednika dijela turske flote pred Lepantsku bitku, kojemu se othrvala jedino Jelsa sa svojom utvrđenom crkvom i Hektorovićev Tvrdalj. Ubrzo crkva sv. Marije bijaše fortificirana, na prostranoj uzvisini nad lukom. U isto vrijeme preoblikovana je i crkva sv. Lovrinca, dobivši konačni izgled u XVII. st. U njoj su izložena remek-djela mletačke renesanse i baroka, te novijeg domaćeg slikarstva, pa i slike prenesene radi vlage iz crkve-tvrđave. Najznačajniji je poliptih glavnog oltara, djelo Paola Veronesea (1528-1588), uz palu Gospe od Ružarija, Jacopa Bassana (1516-1592).



Crkvica sv. Petra (spomenuta u Statutu 1331.) na početku uvale sv. Petra, na granici pitovskog i vrbanj skog teritorija, dobila je današnji oblik 1469., pa bi i Firentinčevu skulpturu s njezina pročelja trebalo tako datirati (sada u župnoj crkvi). Tradicije ribarskog i brodarskog mjesta pokazuje zanimljiva zbirka Ribarskog muzeja (osnovana 1972.).


Znamenitosti otoka Hvara