Norra Jemen har sedan 1500-talet periodvis tillhört det Ottomanska riket. När de turkiska styrkorna slutligen drog sig undan 1918 tog religiösa ledare makten i området. 1962 genomfördes en statskupp av arabiska nationalister stödda av Egyptens president Gamal Abdul Nasser och Yemen Arab Republic (YAR) bildades. Saudiarabien och Jordanien gav sitt stöd till den avsatte imamen Badr, och inbördeskrig följde. 1968 var de kontrarevolutionära truppernas övertag stort och ett fredsavtal kunde förhandlas fram i vilket Saudiarabien erkände YAR.
Södra Jemen utgjorde mellan 1839 och 1965 en del i det brittiska imperiet och styrdes från Aden på sydkusten. I mitten av 60-talet inleddes en väpnad motståndskamp mot britterna av nationalistiska grupper och britterna började lämna landet. I slutet av 1967 utropades People’s Republic of South Yemen (PRSY). Två år senare lyckades en radikal marxistisk gren av nationaliströrelsen ta makten och landet bytte namn till People's Democratic Republic of Yemen (PDRY). Samhället och ekonomin dirigerades om till en socialistisk bana, och en enpartistat växte fram. Under 70-talet var relationerna mellan Nord- och Sydjemen ansträngda, 1979 understödde PDRY i söder ett uppror mot YAR i norr. 1986 blossade inre stridigheter upp i PDRY mellan två rivaliserande presidentaspiranter. I slutet av 80-talet förbättrades relationerna mellan Nord och Syd markant och den 22 maj 1990 gick YAR och PDRY samman och den enade staten Republic of Yemen (ROY) bildades. De forna motsättningarna gjorde sig dock snart påminda och 1994 bröt regelrätt inbördeskrig ut mellan ledare från de forna grannrepublikerna. Ett nytt Sydjemen utropades men erkändes ej av det internationella samfundet. Ett par månader senare föll utbrytarrepublikens huvudfäste Aden och sedan dess råder relativ stabilitet.
Jemens nuvarande president Ali Abdallah Saleh är, förutom Libyens överste Gaddhafi, den arabiske ledare som suttit längst vid makten. Han kom till makten i det som då var Nordjemen (YAR) redan 1978. Salehs maktbas är den paraplyliknande grupperingen General People’s Congress (GPC), vilken efter återföreningen 1990 och demokratiseringen av Jemen idag utgör landets dominerande politiska parti. Partiet spänner över ett brett fält av det jemenitiska samhället. Stamhövdingar, militärer, civila organisationer, oberoende, modernister, nationalister, islamister och även vänsterpolitiker utgör GPC:s medlemmar och väljare. Sedan återföreningen har två presidentval hållits i landet. Det senaste ägde rum 2006 då Saleh lyckades uppnå 77 procent av rösterna. EU:s utsända valövervakare bedömde valen som fria. Nästa presidentval äger rum 2013.
I den demokratiskt valda lagstiftande församlingen – majlis an-Nuwab (representanthuset) - dominerar GPC med 238 mandat av totalt 301. Det senaste parlamentsvalet ägde rum i april 2003 för en period av sex år. Det största oppositionspartiet är the Islamic Reform Party (Islah) med 46 mandat. Islahs medlemmar och anhängare utgörs framför allt av stammar i norr och islamister. Partiet bildades av forna GPC-medlemmar och samregerade till en början (1993-97) med GPC. The Yemeni Socialist Party (YSP), med rötter i det socialistiska Sydjemen, har också varit ett tongivande parti, men har förlorat i betydelse, bland annat på grund av att man bojkottade parlamentsvalet 1997. I det nuvarande representanthuset har partiet 8 mandat. Tillsammans med några andra mindre partier samarbetar Islah och YSP i en oppositionsallians mot GPC.
I Jemen finns även en rådgivande församling – majlis ash-Shura – med 111 medlemmar. Samtliga dessa utses av presidenten. Genom en folkomröstning i februari 2001 utökades antalet medlemmar från 59 till 111. Majlis ash-Shura fick då dessutom rätt att rösta om vissa lagstiftande frågor, vilket ökade regeringspartiets och presidentens inflytande ytterligare.
Vid den senaste regeringsombildningen i april 2007 utnämndes Ali Muhammed Mujawar till ny premiärminister och en rad andra ministrar byttes ut. Åtgärderna ses som president Salehs svar på internationella reformkrav, men det är ännu oklart vilken faktisk förändring ombildningen kommer att innebära.
Trots många brister beroende på fattigdom, terrorism och bristande regeringskontroll över delar av landet är Jemen ett relativt öppet samhälle som nått längre i demokratiseringsprocessen än många andra länder i regionen. Konstitutionen ger såväl kvinnor som män över 18 år rösträtt i allmänna val till parlamentet, vad gäller lokala institutioner och presidentämbetet.