Původ Rhodosu je podle antických spisovatelů spojen s řeckou bájí o Diovi a Héliovi. První lidé se na Rhodosu objevili v době kamenné a byli to Kárové pocházející z Malé Asie. Ve starověku měl tento ostrov hned několik názvů: Ophiusa, Asteria, Makaria, Atavyria či Telchina. Po Kárech přišli Féničané, kteří Rhodos pozvedli na významné obchodní centrum a také Minójci z Kréty. Po několik století spolu žili v míru – konkrétně až do 14. století př. n. l., kdy z řecké pevniny přišli Achájové a vytvořili zde silný stát. Následující století osídlili Rhodos také výbojní Dórové, kteří nad ostrovem převzali naprostou vládu a vybudovali významná města Líndos, Iályssos a Kámiros. Tato města v období 1000 př. n. l. až 600 př. n. l. vlastnila kolonie na pobřeží Malé Asie, Sicílie, Španělska a Francie.
Kolem roku 700 př. n. l. se výše uvedená města plus další tři dórská města Kós, Knidos a Helikarnassos spojila ve federaci tzv. Dórskou Hexapolis. V průběhu peloponéské války – konkrétně v roce 408 př. n. l. postavili místní obyvatelé nové město a pojmenovali ho Rhodos.
V helénistickém období bylo město Rhodos pod vlivem Athén a Sparty. V té době zde žilo mnoho známých filosofů, spisovatelů a umělců.
Značný vliv měl na Rhodos také Řím, a to na konci 3. století př. n. l., výsledkem toho byl pokles rhodského obchodu a vynucené spojenectví. V roce 42 př. n. l. byl Rhodos dobyt jedním z Cézarových vrahů – Gaiaem Cassiem, ten také většinu ostrova zničil a odvezl odtud více jak 3000 umělecký děl. Zkázu Rhodosu dovršil císař Dioklecián, jenž ho jako provincii připojil k římskému impériu.
Od roku 314, kdy došlo k rozdělení římského impéria, patřil Rhodos východořímské říši. V roce 514 zničilo město Rhodos zemětřesení, znovu ho obnovil císař Anastasios I. Město pustošili také Peršané v době římsko-perských válek, arabští nájezdníci v roce 653, nájezdy Saracénů trvající do roku 718 a Arabové v 9. století. Obnova místního obchodu nastala až v 11. století, kdy Rhodos začal svým zbožím, loděmi a žoldnéry zásobovat křižáky.
Od roku 1204 vládl na Rhodosu Leon Gavals z Konstantinopole a skončil až roku 1246 poté, co ostrov dobyli Janované. Od roku 1306 patřil Rhodos, Kós a Leros rytířům Řádu sv. Jana Jeruzalémského, kterým se podařilo ostrov ubránit i před tureckým vpádem v roce 1480. Jejich nadvláda nad ostrovem trvala až do roku 1522, kdy po půlročním obléhání nedobrovolně předali Rhodos Sulejmanovi Nádhernému.
Nejhorším obdobím Rhodosu byla osmanská okupace trvající až do roku 1912, kdy zde získala moc Itálie. Přesto do té doby tvořili Turkové na ostrově menšinu a některá města si udržela relativní samostatnost. Od roku 1948 patří Rhodos k Řecku