Relationer till store grannen i norr, Saudiarabien, är Jemens enskilt viktigaste utrikespolitiska fråga. Förhållandet har ofta varit ansträngt, men förbättrades avsevärt av att länderna i maj 2000 lyckades komma överens om hur man skulle lösa en sedan länge pågående gränstvist. En omfattande demarkeringsprocess för den nästan 150 mil långa landgränsen mellan Jemen och Saudiarabien har sedan dess genomförts. Gränsen är trots detta fortfarande en källa till oro för båda länderna. Smuggling av vapen och narkotika samt terrorism skapar fortfarande gränsrelaterade konflikter. Efter uppgörelsen år 2000 med Saudiarabien förbättrades även relationerna till de övriga medlemsstaterna i samarbetsorganisationen Gulf Cooperation Council (GCC). Något jemenitiskt medlemskap i GCC har inte ställts i utsikt, även om Jemen gradvis börjar släppas in i gemenskapen.
Tvister har även funnits med Oman och Eritrea. Fisket runt Hanish-öarna i Röda Havet, som i en dom från ICJ (International Court of Justice) tilldelats Jemen, förorsakar ibland problem.
En starkt bidragande orsak till att Jemen länge haft mycket ansträngda relationer till grannländerna i regionen, samt till Västvärlden, är att landet valde att ta ställning för Irak i samband med Gulfkriget 1990. Förutom frysta humanitära bidrag från större delen av omvärlden straffades Jemen även genom att Saudiarabien och flera andra gulfländer utvisade sammanlagt omkring en miljon jemenitiska arbetare, något som innebar en kraftig påfrestning på Jemens redan mycket sköra ekonomi.
Efter händelserna den 11 september 2001 kom strålkastarljuset att riktas inte bara mot Saudiarabien utan även mot Jemen, ett land med tillräckligt bräcklig myndighetskontroll för att kunna utvecklas till en skyddad zon för internationell terrorism. Vid tidpunkten hade även en uppmärksammad terroristattack nyligen ägt rum på jemenitiskt territorium; bombningen av det amerikanska krigsfartyget USS Cole i Adens hamn. Relationerna mellan USA och Jemen har sedan dess stärkts och landet har blivit en viktig partner i USA:s kamp mot terrorismen.