עם נסיגת הצבא האדום ופינוי המוסדות הסובייטיים מאזור מז′יבוז′ ביולי 1941, החלו לאומניים אוקראיניים לפרוע ביהודי מז′יבוז′. עם תחילת הכיבוש נהרס בית מדרשו של הבעש"ט עד היסוד. כמו כן נהרס בית הקברות.
במשך שלשה-עשר חדשים סבלו יהודי מז′יבוז′ סבל בל יתואר. הם רוכזו בגטו שהוקף בגדרות תיל גבוהות וסבוכות, בתנאי מחיה של 15-20 נפש בחדר. הצעירים שביהודי העיר נשלחו לעבודות כפייה ורבים מהם מתו.
ביום שלישי, ה-22 בספטמבר 1942, בבוקר, הקיפו אנשי הגסטאפו ועוזריהם האוקראינים את הגטו היהודי וריכזו את יהודי הגטו הנותרים בכיכר העיר. הצעירים רוכזו ונשלחו למחנות עבודה, ויתר היהודים, כ-1,000 במספר, נלקחו משם לגדות נהר בוג, שם נרצחו. כ-2,500 יהודים עדיין הצליחו להסתתר בבונקרים ובכפרי הסביבה ובמשך שלושה שבועות נמשך ציד היהודים, ובסיומו נמנו כ-3,500 הרוגים אשר קבורים בקבר אחים מחוץ לעיר. מעטים מאוד מבני קהילת מז′יבוז′ ניצלו.
לאחר שחרור העיר בידי הצבא האדום ב-24 במרץ 1944, חזרו למז′יבוז′ כ-20 משפחות יהודיות, אולם חיי הקהילה במקום לא נתחדשו. בשנת 1969 כל המוסדות הממשלתיים עברו ללטיצ′ב, ורוב היהודים עזבו את העיירה. בשנות ה-80 חיו בעיר כשמונה יהודים ובשנת -1990- שלושה, כהיום מארחת האגודה במרכז הכנסת אורחים כ30,000 יהודים בשנה.