Mjesto Jelsa smješteno je u zaljevu na sjevernoj strani središnjeg dijela otoka Hvara. Naselje je okruženo gustom borovom šumom i otočnim vrhovima. Jelsa je jedino mjesto na otoku koje ima svoj izvor pitke vode, a kao rezultat toga obiluje raznovrsnom i bujnom vegetacijom.
Najstariji pisani zapis o Jelsi (Civitas Vetus Ielsae) nađen je u hvarskom Statutu iz 1331. godine, ali sama lokacija mjesta je ostala neutvrđena. Ostaci starog obrambenog zida  su i danas vidljivi na zapadnoj strani mjesta, na poluotoku Gradina, a neki materijalni dokazi iz doba Rimljana dokazuju da je tamo naselje postojalo i puno ranije. Današnje mjesto Jelsa se razvilo  u 14. stoljeću kao luka sela Pitve, kao štop piše u hvarskom Statutu iz 1424. godine: „mjesto 3 kilometra udaljeno od mora, pod brdom Gozdom, iz težnje za morem i ribolovom i kao mjesto dobre vode. „
Tijekom 19 stoljeća bilo je ovo jedno od značajnijih pomorskih, brodograđevnih i trgovačkih centara  na Jadranu, polazna luka za mnoge brodove koje su odlazile preko oceana, kamo su nosila najbolja hvarska vina, maslinovo ulje i slane ribe. Vinogradarstvo je bilo gotovo potpuno uništeno u drugoj polovici 19. stoljeća.,  pojavom bolesti filoksere.
Današnja Jelsa je užurbani gradić, sa mnogim malim trgovinama, sa svojom lokalnom upravom. Ona je važno otočno turističko središte, sa vrlo lijepim prostranim trgom oko kojeg su smješteni mnogi kafići i slastičarne. Iz Jesle svakodnevno ima katamaranska linija, preko Bola na Braču,  za Split. Turizam je oragnizirano započeo 1868, mada je zapravo postojao i u rimskom dobu. Najstariji hotel u Jelsi je iz 1911.godine.