קבורה יהודית בבית העלמין החלה עוד בתקופת היישוב היהודי הקדום בעיר חיפה המוזכרת כבר במשנה ובתלמוד. המפורסם בנקברים במקום הוא האמורא רבי אבדימי. בסמוך לקברו מצויות מצבות נוספות ללא כתובת. על פי המקורות רבי אבדימי ורבי יצחק נפחא, נקברו זה ליד זה, בשני כוכים. כיום מצוי קברו של רב אבדימי בגבולו הדרומי של בית הקברות, אך החוקרים מניחים שקברו היה במרכזו של בית הקברות שהמשכו נהרס בעת סלילת דרך יפו-חיפה. יש הסוברים שקברי רבי אבדימי וקדמונים אחרים היו במקומות אחרים בחיפה הקדומה. במשך הדורות נטמנו בבית העלמין אישים שונים שעלו לארץ ישראל ונקברו בסמוך לקברי הצדיקים במקום. בשל עתיקותן של המצבות טרם זוהו רבים מדמויות אלה. אישים נוספים מהיישוב היהודי בעכו שצויין כי נקברו בחיפה הם רבי שמשון משאנץ ורבי יוסף בנו של רבי יחיאל מפאריס מבעלי התוספות שעלו לארץ ישראל בימי הביניים‏. עיקר השימוש בחלקה החדשה של בית העלמין נעשה בשנים 1935-1860 ונקברו בה רבים ממייסדי העיר ומתושביה. וכן מחלוצי המושבות החדשות באזור שטרם היה עבורם בית עלמין. קבורים בבית העלמין בני משפחות כלפון, לסקוב, רוטנברג, אלפסי, פבזנר (בהם שמואל יוסף פבזנר ואשתו שהייתה בתו של אחד העם), גדליהו וילבושביץ ומבני משפחתו, ד"ר אלברט (אברהם) וונדרליך, מראשוני הכירורגים בארץ ישראל, נמצאים בו קבריהם של הרוגי מאורעות תרפ"ט, ושל הרוגי מאורעות תרצ"ו-תרצ"ט, של הנספים באסון מחצבת סולל בונה בעתלית. בין הקברים ניכרות מצבות של תלמידי חכמים מהפזורה היהודית באימפריה העות'מאנית שביקשו שיעלו את עצמותיהם ויקברו אותם בארץ ישראל. אישים נוספים שקבורים במקום הם: הרב חביב חיים דוד סתהון ראב"ד העיר טבריה (בעל "תקפו של נס", "כרסיא דאליהו"), הרב דוד כלפון, הרב רפאל אברהם כלפון, הרב יוסף ניסים אלנקוה, הרב יוסף אלטר הגר מראדוביץ, הרב אברהם הכהן אב"ד חיפה, הרב בנימין חמוי שד"ר קהילת המערבים בירושלים, רב קהילת קהיר הרב אהרון מנדל בהר"ן, הרב שמואל ישראל בנו של האדמו"ר לוי יצחק גוטרמן מסורוטין, הרב יצחק פרפלוציק מרבני קרלין ועיירות נוספות, בן רבה של קהילת העיר דמשק ר' יעקב אהרון, המקובל רבי ישראל נהורי. התעשיין ליאון שטיין, ד"ר יוסף כהן, בבית הקברות נקבר גם אחד מבין חללי האימפריה הבריטית בארץ ישראל במלחמת העולם הראשונה היהודים שנפלו בקרבות באזור. כבר בדורות קדומים שימש בית העלמין כאתר קדוש וכמקום תפילה עבור עולי רגל. כך למשל מתאר הנוסע רבי יצחק ב"ר יוסף חילו, ממדינת ארגון שבספרד, שהגיע לארץ ישראל בשנת ה'צ"ג (1333): "מקלמון באים לחיפא. היא יושבת מול הר הכרמל והיא עיר מולדת ר' אבדימי דמן חיפא. בעיר הזאת יש קהילה מפורסמת בחסידותה. ובבית הקברות של היהודים משתטחים כל אלה העולים לארץ ישראל, כי שם קבורים רבים מחכמי ישראל מכל הארצות אשר מתו בעכו".