Hebrew OCR, open to all

HeOCR

נתונים, כלים ומודלים פתוחים לקריאת מסמכים בעברית, מודפסים וכתובים ביד. לכל פריט במאגרי הנתונים יש רשומת זכויות משלו, והכול מתפרסם ברישיונות פתוחים.

סריקות וטקסטים בנחלת הכלל ← מחוללים ← מאגרי נתונים ← מודלים מאומנים

שימוש ב־HeOCR

במה להשתמש היום כדי להוציא טקסט עברי ממסמכים.

heocr · צינור העיבוד

טקסט עברי, כותרות וטבלאות מכל מסמך: PDF, ‏Word, ‏Excel, ‏PowerPoint, דפי אינטרנט וסריקות. הוא קורא את שכבת הטקסט של ה־PDF כשאפשר לסמוך עליה, ומריץ OCR כשאי אפשר, ומתעד עמוד אחר עמוד מה עשה ומה לא הצליח לקרוא. pip install heocr (ב־PyPI החל מגרסה 0.1.0; עד אז, התקנה מהמאגר).

Apache-2.0Python

R7 · OCR לדפוס עברי ישן

מודל ה־OCR שאנחנו ממליצים עליו לספרים סרוקים ולדפוס ישן. עוד לא נמדד על קבוצה מוחזקת בצד: קבוצת המבחן של הדפוס ההיסטורי ממתינה לטקסטי ייחוס ממתנדבים. ב־heocr משתמשים בו עם --ocr-model heocr_r7, וב־Tesseract עם -l heocr_r7.

Apache-2.0Tesseract 5

מודלים קודמים ומודלי בסיס למחקר נשארים זמינים באופן פתוח ב־Hugging Face וב־Zenodo.

מאגרי נתונים

כל מאגר בנוי רק מחומר שמותר להפיץ ולהשתמש בו מחדש, גם ללמידת מכונה. הזכויות מתועדות לכל פריט, ולא מניחים אותן לגבי אוסף שלם.

HASH

ארכיון עברי של כתב יד סרוק (Hebrew Archive of Scanned Handwriting): מסמכים סרוקים בכתב יד עברי מהמאה ה־18 ואילך, ובהם מכתבים, מחברות, טיוטות וטפסים.

198 סריקות48 מקורותמטא־דאטה CC0

htext

טקסט עברי בנחלת הכלל לאימון, החל משורות מיצירות פרויקט בן־יהודה, עם ניקוד ובלעדיו. כל יצירה מסומנת כנחלת הכלל בישראל, בארה"ב או בשתיהן.

hletterscript

אותיות עבריות בכתב יד, חתוכות וממוינות לפי כותב, מתוך סריקות בנחלת הכלל. משמשות ליצירת כתב יד סינתטי.

מערך התחלתימטא־דאטה CC0

HeOCR ו־HeOCRsynth

מאגרי ה־OCR/HTR המרכזיים: אחד משלב עמודים אמיתיים וסינתטיים, והשני סינתטי בלבד. hocrgen מייצא את שניהם אחרי שבדיקות השחרור שלו עוברות.

בהכנה

מקורות וקרדיט

אנחנו משתמשים רק ביצירות בנחלת הכלל, וכל פריט שומר את המקור ואת הקרדיט שלו. איך אנחנו בודקים זכויות: זכויות והסרה.

הספרייה הלאומית

סריקות של ספרים בנחלת הכלל מהאוסף "נחלת הכלל, שימוש חופשי". כל פריט נושא את הקרדיט "מאוסף הספרייה הלאומית" (From the collections of the National Library of Israel), עם מספר הרשומה.

Internet Archive ו־Wikimedia Commons

סריקות של ספרים בנחלת הכלל שנעשו בידי ספריות אוניברסיטאיות, כמו אוניברסיטת טורונטו, ובידי Google עבור ספריות. כל פריט שומר את המזהה שלו, את זהות הסורק ואת ראיות הזכויות. דפי השער וסימני המים של Google מוסרים.

פרויקט בן־יהודה

טקסטים בנחלת הכלל שהקלידו מתנדבים, של אותן מהדורות. הם מספקים את הטקסט המדויק לכל שורה סרוקה, ואת טקסט האימון לעמודים סינתטיים.

ויקיטקסט העברי

תעתיקים מוגהים של עמודים סרוקים. אנחנו משתמשים בהם להערכה בלבד, וכל עמוד נבדק בידי אדם. הטקסט שלהם ברישיון CC BY-SA.

מחוללים וצינורות עבודה

הקוד שבונה את מאגרי הנתונים ומאמן את המודלים. כולו ברישיון MIT.

hocrsyngen

מחולל עמודים סינתטיים בעברית. מפיק עמודים מודפסים ובסגנון כתב יד, עם תיוג שורות ומטא־דאטה של כיווניות מימין לשמאל, מטקסט אימון ב־CC0 ומגופנים פתוחים.

PythonMITטקסט CC0

hletterscriptgen

מחלץ ערכות אותיות לכל כותב מסריקות HASH ומתיוגי אותיות שנבדקו בידי אדם.

PythonMIT

hocrgen

ניהול מאגרי הנתונים ובדיקות השחרור: איסוף, זכויות, בדיקה ידנית, הסרת כפילויות, חלוקות, מבחני השוואה וייצוא למאגרים הציבוריים.

PythonMIT

heocr-engine

קוד האימון, ההערכה והשחרור של המודלים שלמעלה, וגם בסיס השוואה מקומי של Tesseract עם פורמט תחזיות שאפשר לשחזר.

Pythonkraken

מדיניות חתימת קוד

עבור אפליקציית HeOCR למחשב.

Windows: חתימת קוד חינמית באדיבות SignPath.io, תעודה מאת SignPath Foundation. נחתמים רק מתקינים שנבנו ב־GitHub Actions מקוד המקור הפומבי, וכל חתימה מאושרת ידנית. macOS: חתומה ב־Apple Developer ID ומאושרת (notarized) על ידי Apple.

תפקידים בצוות: כותבי קוד ובודקים, שי פלצ'י אפק (@shaypal5), עם סוכני קוד מבוססי בינה מלאכותית שעובדים דרך בקשות משיכה שנבדקות; מאשר חתימות, שי פלצ'י אפק.

פרטיות: התוכנה לא תעביר מידע למערכות אחרות ברשת, אלא אם המשתמש או מי שמתקין או מפעיל אותה ביקשו זאת במפורש. לאפליקציה אין שום יכולת רשת. המדיניות המלאה.