2.14.4. Оцінювання ШІ

Оцінювання ШІ — це інструмент для перевірки якості та стабільності роботи сценаріїв штучного інтелекту. Він дозволяє порівнювати фактичний результат виконання сценарію з очікуваним результатом на основі заздалегідь визначених наборів даних і критеріїв.

Оцінювання ШІ корисне для:

• перевірки змін у сценаріях після доопрацювань або оновлень,
• порівняння якості відповідей різних моделей або налаштувань,
• автоматизованого контролю якості результатів ШІ перед використанням у бізнес-процесах.

2.14.4.1. Створити Оцінювання ШІ

1. У панелі навігації виберіть робочий стіл Студія 1.

2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Оцінювання ШІ 3.

3. У панелі інструментів виберіть + 4.

   

4. Заповніть поля, використовуючи підказки в таблиці нижче.

   

   Поле	Опис
   Код*	Код повинен бути унікальним. Код повинен бути коротким (зазвичай до 10 символів). Використовуйте тільки латинські букви та цифри.
   Назва*	Введіть коротку та зрозумілу назву оцінювання.
   Опис	За потреби введіть короткий опис призначення оцінювання.

   Примітка:

   Поля, позначені символом "*", є обов'язковими до заповнення.

5. Перейдіть у вкладку Схема набору даних, щоб налаштувати, які дані використовуватимуться для оцінювання сценарію ШІ. Ви можете додати вхідні та вихідні змінні, які передаватимуть інформацію між системою та сценарієм.

   

6. Додайте змінні одним із таких способів:

   Автоматично синхронізувати зі сценарієм

   Цей спосіб можна використовувати, якщо ви бажаєте повʼязати оцінювання з конкретним сценарієм ШІ або кількома сценаріями. У такому разі ви можете автоматично додати змінні вибраних сценаріїв до схеми набору даних оцінювання, не створюючи їх вручну. Якщо після синхронізації до повʼязаного сценарію буде внесено зміни, після його збереження система запропонує повторно запустити оцінювання.

   1. В полі Сценарії виберіть зі списку сценарій, який бажаєте оцінити. Ви можете додати одразу декілька сценаріїв.

      

   2. На полі доданого сценарію виберіть Синхронізувати.

      

   3. За потреби ви можете зняти прапорці біля змінних 1, які не бажаєте додавати до схеми набору даних, а також за допомогою перемикачів 2 змінити їхній тип (вхідна чи вихідна змінна).

   4. Виберіть Застосувати 3.

      

   Система додасть вибрані змінні до секції Змінні, де ви можете їх редагувати A або видаляти B.

   

   Примітка:

   Якщо значення певних вхідних змінних мають бути однаковими для всіх записів набору даних, які ви додасте на наступній вкладці, ви можете зробити ці змінні глобальними. Для цього виберіть піктограму , щоб перейти в режим редагування змінної.

   

   Встановіть прапорець Є глобальним 1, а потім виберіть Зберегти 2.

   

   Додати вручну

   Цей спосіб можна використовувати, якщо ви не бажаєте повʼязувати оцінювання з конкретним сценарієм ШІ або кількома сценаріями. У такому разі ви можете вручну додати до схеми набору даних потрібні змінні та налаштувати їхні параметри.

   1. В секції Змінні виберіть Додати змінну.

      

   2. В полі Назва 1 введіть таку ж назву, як у змінної сценарію, який бажаєте оцінити.

   3. В полі Рядок 2 виберіть зі списку такий самий тип даних як у змінної сценарію, який бажаєте оцінити.

   4. В полі Вхідний параметр 3 виберіть один із двох варіантів:

      • Вхідний параметр — якщо змінна є вхідною, тобто передає інформацію з системи у сценарій. Наприклад, для системного сценарію sys_doc_recognize це може бути змінна documentTypes, яка передає контекст типів документів системи до сценарію.
      • Вихідний параметр — якщо змінна є вихідною, тобто передає інформацію зі сценарію у систему. Наприклад, для системного сценарію sys_doc_recognize це може бути змінна result, яка передає результат розпізнавання.

   5. В полі Опис 4 введіть короткий опис вмісту змінної. Наприклад, "дані про всі типи документів" або "результат розпізнавання".

   6. Лише для вхідних параметрів: Установіть прапорець Є глобальним 5 якщо бажаєте передавати дані цієї змінної для всіх записів набору даних (які додаватимемо у наступній вкладці).

   7. Виберіть Зберегти 6.

      

7. Перейдіть у вкладку Набір даних 1, щоб додати до кожної змінної ваш очікуваний результат.

8. Виберіть + 2.

   

9. В полі Опис 1 введіть назву для набору даних.

10. Біля кожної змінної виберіть піктограму 2 та завантажте значення, які ви очікуєте від моделі ШІ.

    

Порада:

Ви можете використати результати вже виконаних сценаріїв ШІ як еталон для оцінювання. Якщо певне виконання дає коректний і бажаний результат, його значення можна скопіювати безпосередньо до набору даних оцінювання.

Для цього виконайте наступні кроки: Робочий стіл Студія 1 > група ярликів Центр ШІ 2 > ярлик Виконання ШІ 3 > виберіть виконання > в правому верхньому куті виберіть 4 > Копіювати до набору даних оцінювання ШІ 5.

В полі Оцінювання ШІ 1 виберіть оцінювання, в яке бажаєте скопіювати результати у вигляді набору даних, а потім виберіть Копіювати 2.

Примітка:

Ви можете додати декілька таких наборів. Під час запуску оцінювання ви зможете обрати, який саме набір використовувати для оцінювання.

11. Перейдіть у вкладку Критерії оцінювання 1, щоб налаштувати, як саме система порівнюватиме результат виконання сценарію з вашим очікуваним результатом.

12. Виберіть Додати 2.

    

13. Додайте критерій оцінювання 1, використовуючи підказки в таблиці нижче, а потім виберіть Збереги 2.

    

Поле	Опис
Назва*	Введіть коротку та зрозумілу назву критерію оцінювання.
Правило*	Виберіть зі списку, яким саме способом ви бажаєте порівнювати фактичний та очікуваний результати: Користувацький скрипт — порівняння результатів виконується за заданим вами скриптом, який дозволяє реалізувати власні правила та логіку оцінювання. Строга рівність — фактичний і очікуваний результати порівнюються на повну відповідність значень. Будь-яка відмінність вважається помилкою. LLM як суддя — для порівняння використовуватиметься сценарій ШІ типу Оцінювання ШІ.
Поріг* поле доступно лише для правил Користувацький скрипт та LLM як суддя	Виберіть значення від 0 до 1. Поріг — це мінімальний рівень відповідності результату очікуванню. Наприклад, значення 0.7 означає, що результат має відповідати очікуваному щонайменше на 70%, щоб бути зарахованим як успішний.
Скрипт* поле доступно лише для правила Користувацький скрипт	Вставте скрипт, який порівнюватиме фактичний та очікуваний результати. У цьому полі за замовчуванням відображатиметься приклад такого скрипта. Ви можете відредагувати його під власні потреби.
Сценарій ШІ* поле доступно лише для правила LLM як суддя	Виберіть зі списку сценарій ШІ, за допомогою якого відбуватиметься порівняння результатів. Ви можете обрати один із системних сценаріїв оцінювання: sys_doc_recognize_judge — оцінювання сценарію розпізнавання документа. sys_doc_splitter_judge — оцінювання сценарію розрізання документа. sys_doc_summarize_in_doc_lang_judge — оцінювання сценарію підсумовування документа.
Шлях	Заповнюйте це поле лише у випадку, якщо потрібно звернутися до конкретного елемента або вкладеного значення в елементі набору даних. Введіть шлях до значення в елементі набору даних, яке використовується для оцінювання. Наприклад: result.answer або items[0].value. Залиште порожнім, щоб використовувати весь елемент.

Примітка:

Поля, позначені символом "*", є обов'язковими до заповнення.

14. У панелі інструментів виберіть піктограму Зберегти A або Зберегти та закрити B.

    

2.14.4.2. Запустити Оцінювання ШІ

Спосіб 1: з форми Оцінювання ШІ

1. Відкрийте Оцінювання ШІ, яке бажаєте запустити:

   1. У панелі навігації виберіть робочий стіл Студія 1.

   2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Оцінювання ШІ 3.

   3. Відкрийте потрібне оцінювання 4.

      

2. У панелі інструментів виберіть Оцінити.

   

3. В полі Сценарій ШІ 1 виберіть сценарій, який бажаєте оцінити.

   Примітка:

   Переконайтесь, що змінні обраного сценарію збігаються зі схемою набору даних, яку ви налаштували під час створення Оцінювання ШІ.

4. В полі Кількість повторень 2 вкажіть кількість повторень оцінювання для кожного запису набору даних.

   Примітка:

   Максимально можливе значення — це 100 повторів.

5. У секції Записи набору даних оцінювання 3 установіть прапорці біля тих записів, які бажаєте застосувати в поточному оцінюванні.

6. Виберіть Створити 4.

   

Після цього, відкриється список із записами наборів A та їхні статуси виконання B.

Ви можете переглянути Виконання ШІ для кожного з записів, перейшовши за посиланням в рядку Виконання ШІ (запуск) A. Після того, як виконання ШІ буде завершено, буде запущено оцінювання, деталі якого ви можете переглянути, перейшовши за посиланням в рядку Виконання ШІ (оцінювання) B.

Спосіб 2: з форми Сценарію ШІ

1. Відкрийте Сценарій ШІ, який бажаєте оцінити:

   1. У панелі навігації виберіть робочий стіл Студія 1.

   2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Сценарій ШІ 3.

   3. Відкрийте потрібний сценарій 4.

      

2. У панелі інструментів виберіть Оцінити.

   
   Порада:

   Якщо раніше ви налаштували звʼязок сценарію з оцінюванням ШІ, то можете запустити повʼязане оцінювання перейшовши у вкладку Оцінювання ШІ 1 та вибравши у списку повʼязаних оцінювань кнопку Оцінити 2.

   

3. В полі Оцінювання ШІ 1 виберіть зі списку оцінювання ШІ, за допомогою якого бажаєте оцінити сценарій.

   Примітка:

   Переконайтесь, що змінні обраного сценарію збігаються зі схемою набору даних яку ви налаштували під час створення Оцінювання ШІ.

4. В полі Кількість повторень 2 вкажіть кількість повторень оцінювання для кожного запису набору даних.

   Примітка:

   Максимально можливе значення — це 100 повторів.

5. У секції Записи набору даних оцінювання установіть прапорці біля тих записів, які бажаєте застосувати в поточному оцінюванні 3.

6. Виберіть Створити 4.

   

Після цього відкриється список із записами наборів A та їхні статуси виконання B.

Ви можете переглянути Виконання ШІ для кожного з записів, перейшовши за посиланням в рядку Виконання ШІ (запуск) A. Після того, як виконання ШІ буде завершено, буде запущено оцінювання, деталі якого ви можете переглянути, перейшовши за посиланням в рядку Виконання ШІ (оцінювання) B.

2.14.4.3. Переглянути журнал запусків оцінювання

Спосіб 1: з форми Сценарію ШІ

1. Відкрийте сценарій, оцінювання якого бажаєте переглянути:

   1. У панелі навігації виберіть робочий стіл Студія 1.

   2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Сценарії ШІ 3.

   3. Відкрийте потрібний сценарій 4.

      

2. Перейдіть у вкладку Журнал оцінювання ШІ 1 та перегляньте записи у секції Журнал оцінювання 2.

   
   Примітка:

   Якщо у вибраному сценарії немає записів на вкладці Журнал оцінювання ШІ, це означає, що цей сценарій ще жодного разу не оцінювався.

3. Виберіть сесію оцінювання, деталі якої бажаєте переглянути.

   

Спосіб 2: у ярлику Журнал Оцінювання

1. У панелі навігації виберіть робочий стіл Студія 1.

2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Журнал оцінювання ШІ 3.

3. Виберіть сесію оцінювання, деталі якої бажаєте переглянути 4.

   

2.14.4.4. Привʼязати оцінювання до сценарію

Ви можете привʼязати оцінювання ШІ до одного або декількох сценаріїв ШІ. Це спрощує запуск оцінювання та дає змогу синхронізувати змінні сценарію зі схемою набору даних оцінювання. Крім того, якщо ви внесете зміни до повʼязаного сценарію, після його збереження платформа запропонує повторно запустити повʼязане оцінювання, щоб перевірити сценарій після внесених змін.

Привʼязати оцінювання до сценарію можна двома способами:

Спосіб 1: з форми Оцінювання ШІ

1. Відкрийте Оцінювання ШІ, яке бажаєте запустити:

   1. У панелі навігації виберіть робочий стіл Студія 1.

   2. Виберіть групу ярликів Центр ШІ 2, а потім виберіть ярлик Оцінювання ШІ 3.

   3. Відкрийте потрібне оцінювання 4.

      

2. Перейдіть у вкладку Схема набору даних.

   

3. У полі Сценарії виберіть зі списку сценарій, який бажаєте привʼязати до оцінювання. Ви можете додати одразу декілька сценаріїв.

   

Після цього, ви також можете автоматично синхронізувати змінні вибраних сценаріїв до схеми набору даних оцінювання, не створюючи їх вручну. Див. Створити Оцінювання ШІ > крок 6.

Спосіб 2: з форми Сценарію ШІ

1. У панелі навігації, виберіть робочий стіл Студія 1.

2. З групи ярликів Центр ШІ 2, виберіть ярлик Сценарії ШІ 3.

3. З реєстру сценаріїв виберіть необхідний 4.

   

4. Перейдіть у вкладку Оцінювання ШІ 1.

5. У полі Оберіть оцінювання для звʼязування 2 виберіть одне або декілька оцінювань, які бажаєте привʼязати до сценарію.

   
   Примітка:

   Якщо бажане оцінювання підсвічується піктограмою , це означає, що змінні сценарію та оцінювання не збігаються. Наведіть курсор на піктограму, щоб переглянути яких саме змінних сценарію не вистачає у схемі набору даних оцінювання. Тоді відкрийте оцінювання та додайте відсутні змінні у вкладці Схема набору даних.

   

Якщо ви створюєте звʼязок першим способом, то після привʼязування сценарію ви також можете одразу синхронізувати змінні — автоматично додати змінні сценарію до схеми набору даних оцінювання.