כוונון עדין למודל GPT: מדריך שלב אחר שלב

מדריך שלב אחר שלב לכוונון עדין (Fine-Tuning) עבור מודל GPT להשגת ביצועים מקסימלים במינימום זמן.

באופן דומה, כוונון עדין של מודל באמצעות הנתונים שלכם מאפשר למודל לגשת ולהבין במהירות מידע ספציפי לחברה, למוצר או לתוכן האתר שלכם.

משהו אומר לי שתרצו לאמן את הבינה המלאכותית שלכם לענות על
שאלות ספציפיות לגבי תוכן האתר שלכם , החברה, המוצר וכו'.

אתם יכולים להשיג זאת על ידי כוונון עדין של מודל באמצעות הנתונים שלכם .

שימו לב, תהליך זה דורש מאמצים רבים… הכנת נתונים באיכות גבוהה היא המפתח כאן…

ואתם צריכים לעשות הרבה בדיקות כדי להשיג את התוצאות הטובות ביותר.

המטרה שלי היא לבנות גשר בין וורדפרס ל-OpenAI. אז משתמשים ללא ידע טכני או קידוד יכולים להשתמש בקלות ב-API של OpenAI.

כל מה שאתם צריך לעשות, הוא להכין את הנתונים שלכם ולהעלות אותם לפלאגין.

Attention Grabber + Hover Message

אם אתם צריכים יועץ שיעזור לכם בתהליך הזה, אשמח לסייע בכך.
אתם יכולים ליצור איתי קשר כאן.

איך לאמן את מודל הבינה המלאכותית שלכם

אז בואו נתחיל…

כוונון עדין של דגם ב-OpenAI כרוך בכמה שלבים.

להלן תוכלו למצוא הסבר מפורט כיצד לכוונן מודל באמצעות התוסף שלנו. אתם יכולים גם לצפות בהדגמה קצרה כאן.

ישנן 3 דרכים שונות להעלות את הנתונים שלכם ל-OpenAI ולהתחיל תהליך כוונון עדין:

1. העלאה – העלאה של הנתונים מהמחשב שלכם . אתם יכולים להשתמש בכלי זה אם כבר יש לכם את הנתונים שלכם בפורמט הנדרש.
2. כניסה ידנית – הזן את הנתונים שלכם באופן ידני. אתם יכולים להשתמש בכלי זה אם אתם רוצה להזין את הנתונים שלכם באופן ידני.
3. ממיר נתונים – כלי זה הוא אחד הפופולריים ביותר מכיוון שהוא מאפשר לכם להמיר את מסד הנתונים שלכם לפורמט הנדרש בלחיצה אחת.

1. העלאה נתונים ישירות מהמחשב שלכם

1. ראשית, נווט ללשונית העלאה.
2. בלשונית העלאה, תוכלו להעלות את מערכי הנתונים שלכם ישירות מהמחשב שלכם . שימו לב ש-OpenAI מקבל רק *.jsonl קבצים וגודל ההעלאה המרבי הוא 100MB לקובץ. כדי להעלות מערכי נתונים גדולים יותר, יש להגדיר את גודל העלאת הקבצים המקסימלי של וורדפרס שלכם ל-100MB לפחות. אתם יכולים לעקוב אחר המדריך הזה כאן.
3. הנה דוגמה של א*.jsonl קוֹבֶץ:

   כפי שאתם יכולים לראות, הקובץ מכיל צמדי הנחיה והשלמה. ההנחיה היא השאלה, וההשלמה היא התשובה. אתם יכולים למצוא כמה דוגמאות כאן.

4. יש 4 שדות בכרטיסייה מערכי נתונים שעליך למלא:

• קובץ: לחץ על כפתור "בחר קובץ" כדי לבחור את הקובץ שברצונך להעלות. כפי שציינתי קודם, OpenAI מקבל רק*.jsonl קבצים וגודל ההעלאה המרבי הוא 100MB לקובץ. למדו על פורמט קובץכאן.

• מטרה: בחרו את המטרה. נכון לעכשיו יש רק אפשרות אחת שהיא "כוונן עדין".
• בסיס דגם: בחרו את בסיס הדגם שברצונכם לכוונן את הדגם שלכם . אתם יכולים לבחור מהרשימה הנפתחת. האפשרויות הן: ada, babbage, curie ו-davinci.
• שם דגם מותאם אישית: הזינו את שם הדגם המותאם אישית עבור הדגם המכוונן. זה אופציונלי. אם תשאירו אותו ריק, הדגם המכוונן ייקרא על שם בסיס הדגמים שבחרתם. אני מציע לכם להשתמש בשם דגם מותאם אישית כדי שתוכל לזהות בקלות את הדגם המכוונן.

5. לאחר העלאת הקובץ, הוא יוצג בכרטיסייה מערכי נתונים. אתם יכולים להציג מידע כגון מזהה הקובץ, גודלו, תאריך היצירה, שם הקובץ והמטרה. כמו כן, ישנה עמודת "פעולות" בה ניתן לבצע פעולות שונות בקבצים שהועלו – כגון יצירת בקשת כוונון עדין, איחזור תוכן ומחיקת הקובץ.
   זה ייראה בערך כך:

6. אם ברצוננכם לצפות בתוכן הקובץ, תוכלו ללחוץ על כפתור "איחזור תוכן". מטעמי אבטחה, OpenAI אינה מאפשרת למשתמשי תוכנית חינמית לצפות בתוכן הקבצים שהועלו. אם ברצונך לצפות בתוכן הקובץ, תצטרך לשדרג את חשבונך לתוכנית בתשלום.
7. כדי למחוק את הקובץ, לחצועל כפתור "מחק".
8. אם לא קיבלת שום הודעת שגיאה עד לשלב זה, מזל טוב, הצלחתם! אתם יכולים להתחיל ליצור כוונון עדין.

2. הזנת נתונים ידנית

1. ראשית, נווט ללשונית הזנה ידנית.
2. בלשונית הזנה ידנית, תוכל להזין את הנתונים שלכם באופן ידני.
3. נניח שאתם רוצה להזין את נתוני המוצר שלכם .
   הנה דוגמה לנתוני מוצר:
   {"prompt":"פריט הוא תיק יד. הצבע הוא ירוק צבאי. המחיר הוא טווח בינוני. המידה קטנה.->", "completion":" תיק יד ירוק ומסוגנן זה יוסיף נופך ייחודי למראה שלכם , מבלי לעלות לכם הון."}
   זה ייראה בערך כך:
   
4. לחצו על "הוסף עוד" כדי להוסיף נתונים נוספים.
5. לאחר שהזנתם את כל הנתונים שלכם, בחר בסיס דגמים, תנו שם מותאם אישית (אופציונלי), ולחצו על "העלאה".
6. אם לא קיבלתם שום הודעת שגיאה עד לשלב זה, מזל טוב, הצלחתם! אתם יכולים להתחיל ליצור כוונון עדין.

3. ממיר נתונים

1. ראשית, נווטו אל הכרטיסייה ממיר נתונים.
2. בלשונית ממיר נתונים, תוכל להמיר את כל מסד הנתונים שלכם לקובץ JSONL.
3. כך זה נראה:
   
4. יש כאן 3 אפשרויות שונות.

• המירו את הפוסטים שלכם : זה ימיר את כל הפוסטים שלכם ב-DB שלכם לקובץ JSONL. שימו לב שתהליך זה ייקח זמן מה בהתאם למספר הפוסטים שיש לכם. אם יש לכם DB ענק, זה יפצל את מערכי הנתונים לחתיכות קטנות.
• המורו את הדפים שלכם : זה ימיר את כל הדפים שלכם ב-DB שלכם לקובץ JSONL. שימו לב שתהליך זה ייקח זמן מה בהתאם למספר הדפים שיש לכם. אם יש לכם DB ענק, זה יפצל את מערכי הנתונים לחתיכות קטנות.
• המירו את מוצרי WooCommerce שלכם : תראו תכונה זו רק אם מותקן אצלכם WooCommerce. זה ימיר את כל מוצרי WooCommerce שלכם ​​ב-DB שלכם לקובץ JSONL. שימו לב שתהליך זה ייקח זמן מה בהתאם למספר המוצרים שיש לכם. אם יש לכם DB ענק, זה יפצל את מערכי הנתונים לחתיכות קטנות.

5. הערה חשובה: אם יש לכם DB ענק, ההמרה עשויה להימשך זמן רב יותר והאתר שלכם עלול להפסיק להגיב אם המשאבים אינם מספיקים.

יצירת עדינות

1. כדי ליצור בקשת כוונון עדין, לחצו על כפתור "צור כוונון עדין" בלשונית ערכות נתונים. פעולה זו תיצור בקשה לכוונון עדין ב-API של OpenAI בהתבסס על מערך הנתונים שהועלה.
2. יש כאן שלב חשוב לפני יצירת הבקשה לכוונון העדין שלכם – עליכם ליצור דגם חדש או לבחור דגם קיים מהרשימה הנפתחת. אם תבחר בדגם קיים, הדגם המכוונן ייווצר על סמך הדגם הנבחר. אם תיצור מודל חדש, המודל המכוונן ייווצר על סמך בסיס המודלים שבחרתם כשהעליתם את מערך הנתונים.
   הנה דוגמה לבקשת כוונון עדין:

   
    
   אז למה השלב הזה חשוב? מכיוון שאתם יכולים ליצור בקשות כוונון מרובות עבור אותו מערך נתונים. לדוגמה, אתם יכולים ליצור בקשה לכוונון עדין עבור אותו מערך נתונים באמצעות בסיסי מודל שונים. לחלופין, תוכלו ליצור בקשה לכוונון עדין עבור אותו מערך נתונים באמצעות מודלים שונים.

3. כך תוכלו להשוות את התוצאות ולבחור את הדגם הטוב ביותר עבור מקרה השימוש שלכם.
   תרחיש אפשרי הוא שיש לכם מערך נתונים ענק שלא ניתן להעלות ל-OpenAI בגלל מגבלת ה-100MB.
   במקרה זה, אתם יכולים לפצל את מערך הנתונים שלכם למספר קבצים ולהעלות אותם ל-OpenAI.

   לאחר מכן, תוכל ליצור בקשה לכוונון עדין עבור כל קובץ באמצעות אותו בסיס דגם. בדרך זו, תוכל ליצור מודל מכוונן המבוסס על אותו בסיס מודל אך עם מערכי נתונים שונים. אם ברצונך להעלות קובץ עבור אותו דגם, תצטרך לבחור את הדגם מהרשימה הנפתחת כאשר תלחצו על " כפתור "צור עדין".

4. אם לא קיבלת שום הודעת שגיאה עד לשלב זה, מזל טוב, הצלחתם! כעת, בואו נעבור לצפייה בבקשות לכוונון עדין.

הצגת סטטוס כוונון עדין

לצפייה בבקשות לכוונון, לחצו על כפתור "הצג עדינות". זה יציג את כל בקשות ההתאמה שיצרת.

להלן דוגמה לבקשות כוונון עדין:

אתם יכולים להציג מידע כגון מזהה הבקשה, תאריך יצירה, דגם וסטטוס. כמו כן, ישנה עמודת "הדרכה" בה ניתן לבצע פעולות שונות בבקשות הכוונון, כגון צפייה בפרטי בקשת הכוונון, צפייה בדגם המעודן ומחיקת בקשת הכוונון.

ישנם 4 כפתורים בעמודה "הדרכה": אירועים, Hyper-params, קבצי תוצאות וקבצי הדרכה. בואו נסתכל על כל אחד מהם.

1. אירועים: כפתור זה יציג את אירועי הבקשה לכוונון עדין. אתם יכולים להציג מידע כגון מזהה האירוע, תאריך היצירה והסטטוס. חשוב לציין שכוונון עדין של מודל עשוי להימשך זמן מה, בהתאם לגודל מערך הנתונים ולמורכבות המודל.
   הנה דוגמה לאירועים של בקשה להתאמה:
   

   אם ההודעה האחרונה אומרת "הכוונן עדין הצליח", אז בקשת הכוונון הושלמה והדגם שלכם מוכן לשימוש.
   

2. היפר-פרמטרים: כפתור זה יציג את פרמטרים ההיפר-כוונון של הבקשה. אתם יכולים להציג מידע כגון תקופות, גודל אצווה, קצב למידה וירידה מהירה במשקל.
   הנה דוגמה לפרמטרי היפר-פרמטרים של כוונון עדין:
   
3. קבצי תוצאות: לחצן זה יציג את קבצי התוצאות של הבקשה לכוונון. ניתן להוריד את קובץ התוצאות מאימון המודל.
   הנה דוגמה לקובצי תוצאות של בקשה לכוונון עדין:
   

   וכך נראה קובץ תוצאות:
   

4. קבצי אימון: לחצן זה יציג את קבצי ההדרכה של הבקשה לכוונון. זה בעצם הקובץ שהעליתם ל-OpenAI.

אם הגעתם עד הלום, מזל טוב, הצלחתם! כעת, בואו נעבור לצפייה בדגמים המכוונים.

שימוש במודלים מכוונים

נניח שכבר יש לכם בקשת כוונון עדין שהושלמה. כעת, אתם רוצה להשתמש במודל המכוונן עדין עם ChatBox באתר האינטרנט שלכם . כדי לעשות זאת, המשיכו לדף הגדרות התוספים ולחץ על לשונית ChatGPT.

הנה דוגמה ללשונית ChatGPT:

תראו שהדגם המכוונן שלכם זמין כעת ברשימה הנפתחת. אתם יכולים לבחור בו וללחוץ על כפתור "שמור שינויים". המשמעות היא שמעכשיו והלאה ChatBox שלכם ישתמש בדגם המכוונן שבחרתם.

אם אינכם רואה את הדגם המכוונן שלכם ברשימה הנפתחת, אנא ודאו שבקשת הכוונון הושלמה. אתם יכולים גם ללחוץ על הקישור "סנכרן מודלים" כדי לקבל את הדגמים העדכניים ביותר.

כעת עברו ל-ChatGPT ושאלו את ה-ChatBox שלכם שאלה. אתם אמורים לראות שה-ChatBox משתמש כעת במודל המכוונן.

שימו לב, אני לא יכול להבטיח שהדגם המכוונן יעבוד עבור מקרה השימוש שלכם. זה תלוי בכם, אתם חייבים לבצע ניסיונות ולראות אם זה עובד בשבילכם. כפי שציינתי קודם, איכות מערך הנתונים חשובה מאוד. אם יש לכם מערך נתונים קטן, ייתכן שלא תקבל תוצאות טובות. אם יש לכם מערך נתונים עצום עם הנחיות והשלמות מוגדרות היטב, אתם עשויים לקבל תוצאות טובות. הכל תלוי במקרה השימוש שלכם .