Jelsa se razvija od XIII. st. kao luka Pitava, sela udaljenog 3 km od mora, pod Gozdom. Crkva sv. Marije na Glavici, kamenom grebenu poviše šumovite uvale, postoji već 1331. U neposrednoj blizini je »fons vocata Ielsa«, voda koja je imenovala naselje, U Maloj bandi na sjevernoj strani uvale nastale su oko gotičke crkvice sv. Mihovila prve kuće. Drugi centar budućeg mjesta postupno će se razviti oko barokne crkvice sv. Ivana, na drugoj hridi. Crkvica poligonalnog tlocrta arhitektonski je ukrašena poput kamene pokaznice, na slikovitom gradskom trgu oko kojeg su se sačuvale renesansne i barokne kuće jelšanskih brodara.
Još 1605. na mjestu današnjeg parkai i igrališta bilo je more, a sredinom XIX. st. poluslana malarična močvara. Obzidom u obliku mosta presječena je i potom nasuta, prema projektu splitskog geodeta Jakova Kurira 1832. i provedbom načelnika Ivana Dubokovića Nadalinija oko 1850., u vrijeme cjelovitog uređenja luke i stvaranja jake jelšanske flote jedrenjaka. Isušivanjem močvare nastala je ravnica - Solina, zasađena 1871. jablanovima. To vrijeme dalo je i najizrazitiji urbanistički pečat mjestu.
Pregradnja crkve sv. Marije u tvrđavu izvršena je 1535., s trećim elementom obzide 1573., netom nakon što je crkva-tvrđava obranila Jelsu. Pročelje je preoblikovano u XIX. st. s dograđenim zvonikom. Na glavnom oltaru nalazila se Veroneseova velika pala koju je bratovština sv. Fabijana i Sebastijana naručila 1576., a bijaše uništena u požaru nakon groma 26. XII. 1771. zajedno s čudotvornim kipom Gospe (»Gospa stomorena«), prenesenim 1539. iz hercegovačkog Čitluka (Gabela), koji je kasnije obnovljen. Osim ostalih vrijednih umjetnina u crkvi, interesantan je i reljefni oltarski poliptih, djelo Urbana Bavarca de Surgge iz 1636.-45. U dvorištu je crkve zanimljiv lapidarij.
Osobito je slikovit poluotok Gradina gdje je od 1807. mjesno groblje na mjestu augustinskog ermitaža, utemeljena 1599., koji je 1787. inkamerirala mletačka vlada. Vjerojatno je tu stajao i kasnoantički kastrum nasuprot dokazanom na Glavici II Bolu na Braču (uz današnji dominikanski samostan).
Svakako treba vidjeti i Tor. To je četverokutna kula sazdana (kao i gradina na Purkin Kuku, 10 km zapadnije) od golemih »kiklopskih« blokova dugih i više od 2 m, na uskoj zaravni još ranije ilirske gradine, jugoistočno od Jelse, koja motri čitavo hvarsko-bračko područje - do Šolte zapadno i Makarskog primorja istočno. Strukturom gradnje zadivila je već V. Pribojevića koji joj je posvetio niz rečenica u svom glasovitom pohvalnom govoru Hvaru. Arheolozi smatraju da je tvrđavica nastala u drugoj polovici III. stoljeća pr. Krista, u vezi s jačanjem ilirske države ili da bi bila početak nekog većeg građevinskog pothvata Demetrija Farskoga, koji će kao regionalni dinast desetak godina, do poraza protiv Rimljana, upravo tu imati bazu.
Nije slučajno što će na kilometar istočnije u brdu u srednjem vijeku (ili još ranije u kasnoantičko doba) biti podignut utvrđeni »Grad«, nad prastarim putom koji vodi u istočni dio otoka. Prema tradiciji, impozanatne ruševine tog utvrđenja - naziva se i Galešnikom - bijahu gnijezdo Slavogosta, moćne obitelji srednjovjekovnog Hvara, koja je 1310.-1311., u savezu s Omišanima, pod vodstvom Jurja i Galeše (u značenju »cmi«) digla prvi ustanak protiv Mlečana, koji su grad srušili.