האם בינה מלאכותית תוכל בעתיד לסייע לרבנים בפסיקת הלכה? פרויקט חדש בשם HalachaBench מבקש לבחון עד כמה המודלים המתקדמים מסוגלים להתמודד עם שאלות הלכתיות מורכבות. במסגרת הניסוי, הועמדו המודלים למבחן באמצעות שאלות אמיתיות ממבחני ההסמכה לרבנות הראשית לישראל, בתנאי בחינה של "ספרים סגורים" וללא גישה לאינטרנט או למקורות חיצוניים.
הפרויקט התבסס על 60 שאלות מחמישה שאלונים ממועד חשוון תשפ"ז, בתחומי נידה, חופה וקידושין, מצוות התלויות בארץ, מקוואות, תפילה וברכות. כל מודל נדרש להשיב על כל שאלה שלוש פעמים, במטרה לבחון לא רק את רמת הידע שלו אלא גם את מידת העקביות בתשובותיו.
המודל שהוביל - והפער שנותר
בתוצאות הבדיקה דורג במקום הראשון Claude Fable 5.1 של חברת Anthropic, עם ציון של 79.7 מתוך 100. אחריו דורגו GPT-6 Astra עם 73.3 נקודות, GPT-6.1 Sol עם 72.8, Claude Opus 5.5 עם 69.1 ו-Gemini 3.8 Flash עם 64.4 נקודות. מנגד, רוב המודלים החופשיים שניתנים להורדה השיגו ציונים נמוכים משמעותית. למרות ההישג, גם המודל המוביל לא עמד בכחמישית מהדרישות לתשובה הלכתית מלאה.
אלא שהערכת התשובות הציבה בפני יוזמי הפרויקט אתגר לא פשוט: למבחני הרבנות אין מפתח תשובות רשמי. כדי להתמודד עם הקושי, נעשה שימוש במודל Claude Fable 5.1 לצורך יצירת מחוונים מפורטים, שכללו את שיטות הראשונים, המקורות ההלכתיים והפסיקה הנדרשת. מודלים נוספים בחנו את המחוונים, וכ-2,000 מקורות שנכללו בהם נבדקו מול ספריית Sefaria. את התשובות עצמן בדק GPT-6 Astra, ששימש כשופט והעניק להן ציונים.
עם זאת, לתוצאות יש כמה הסתייגויות משמעותיות. ראשית, אף רב לא בחן את המחוונים או בדק את התשובות בפועל, כך שההערכה כולה נעשתה באמצעות מודלים של בינה מלאכותית. בנוסף, Claude Fable 5.1, שהגיע למקום הראשון, הוא גם המודל שניסח את המחוונים שעל פיהם נבדקו התשובות. גם GPT-6 Astra, ששימש כשופט, השתתף במבחן עצמו והגיע למקום השני. יוזמי הפרויקט מדגישים כי מדובר בתוצאות ראשוניות ובתרגיל אינטלקטואלי בלבד, שאינן יכולות לשמש בסיס לפסיקת הלכה.
מבין התגובות לפרויקט בלטה זו של הרב אברהם סתיו, שהתייחס לממצאים במילה אחת לאתר "היום": "מרתק". עם זאת, הוא העלה תהייה בנוגע לתנאי הניסוי: "השאלה החשובה כמובן היא כמה הם מקבלים עם ספרים ועם אינטרנט. בניגוד לרבנים אנושיים, זה לא שאני צריך שהם יענו לי בשבת".