יוסף חרמוני נולד בשנת 1942, ועבר בגיל תשע להתגורר עם משפחתו בקיבוץ איילת השחר. לאחר שירות צבאי בגולני, הוא חזר להתגורר בקיבוץ, עבד בפלחה ובכותנה, למד מזרחנות וערבית באוניברסיטת חיפה, ושימש כמורה לערבית ואזרחות בבית ספר תיכון.
במהלך חייו כתב חרמוני שירים וסיפורים קצרים (בגיליון אוקטובר של מאזניים עומד להתפרסם אחד מסיפוריו).
כדובר וקורא אנגלית, ערבית, רוסית, גרמנית וספרדית הוא עוסק גם בתרגום שירה (בגיליון מאזניים האחרון פורסם תרגום שלו לשיר של לרמונטוב). הוא תירגם מרוסית כשישים שירי זמר, ביניהם של משוררים גדולים וכן את כל ה"אינטרנציונל". כעשרים מתרגומיו מרוסית הוקלטו ואחדים מהם הושמעו ברשת ב'.
כמו כן תרגם כעשרים שירי זמר מספרדית, כחמישה עשר להיטים אמריקאיים, שלושה שירים מגרמנית (ביניהם "לורליי" של היינה ו"לילי מרלן") ושני שירים מיידיש.
חרמוני כתב גם מאמרים וטורי דעות. בין השאר הוא כתב לירחון "מוניטין" ולשבועון "כותרת ראשית", ופירסם מאמרי דעה ב"מעריב".
במשך תקופה קצרה שימש גם כדובר מפלגת התחייה-צומת. במרוצת השנים חל מהפך בדעותיו הפוליטיות, וכיום הוא מחזיק בדעות שמאליות.
הוא אב לשתי בנות וסב לחמישה נכדים.