← До демонстрації форматів
up2.pro · стандарт якості
Рубрик оцінювання якості тестового завдання
банк 2-го етапу атестації (Постанова КМУ №1100) · версія 1.0
Порядок роботи рецензента: (1) спершу перевір стоп-фактори — якщо хоч один спрацював, завдання відхиляється одразу; (2) далі оціни К1–К8 за шкалою 2 / 1 / 0 (✓ / ⚠ / ✗); (3) застосуй правило підсумкового рішення; (4) окремо пройди чек-лист рівня. У консолі рецензування (демо) рішення обчислюється автоматично.
Стоп-фактори — авто-відхилення, незалежно від решти оцінок
| # | Стоп-фактор | Як фіксується |
|---|
| С1 | Хибний ключ | Незалежний перерозв'язувач (людина + ансамбль моделей) отримує іншу відповідь, і його розв'язок захищуваний |
| С2 | Двозначність | Існує друга захищувана відповідь, яку умова не спростовує |
| С3 | Опора на світові знання (у логіці/числах) | Розв'язання неможливе без факту поза умовою |
| С4 | Суржик / груба мовна помилка | Калька, русизм, неправильний відмінок, що впадає в око |
| С5 | Витік скінченного ключа | Відповідь можна завчити як пару «стимул→відповідь» без розуміння |
Критерії К1–К8
К1Однозначність ключа
2Перерозв'язувач (≥3 незалежні спроби) сходиться на ключі; для кожного дистрактора можна показати, чому він хибний, спираючись лише на умову.
1Ключ найкращий, але один дистрактор «майже захищуваний»: його спростування вимагає неочевидного доуточнення. Виправно редагуванням.
0Друга захищувана відповідь або хибний ключ → стоп-фактор С1/С2.
К2Якість дистракторів
2Кожен дистрактор має назване мал-правило (типову помилку): «застосував лише одну з двох трансформацій», «переплутав напрям», «off-by-one», «арифметична замість геометричної». Мал-правила задокументовані в метаданих.
1Більшість дистракторів умотивовані, але 1 варіант — «наповнювач» (випадкове число/слово, яке ніхто не обере).
0≥2 дистрактори випадкові; або дистрактори відсіюються поверхневою ознакою (довжина, формат, «єдине непарне»).
К3Конструкт: міркування, не пригадування
2Розв'язання вимагає ≥2 послідовних операцій (виявити правило → застосувати → скомбінувати/перевірити); операція масштабується: складнішу версію будують, додавши крок, а не рідкісніше слово.
1Один крок міркування (одне правило, одне застосування); придатне лише для L1–L2.
0Чисте пригадування: синонім, антонім, категоризація, дефініція, факт. Стеля L2; якщо позначено L3–L4 — автоматично тягне К4=0.
К4Чесність рівня
Смуги складності (b-логіт):
L1: b < −0.45 · L2: −0.45…0.45 · L3: 0.45…1.30 · L4: b ≥ 1.30
2Є калібрувальні дані (n≥200): виміряний b лежить у смузі позначеного рівня (допуск ±0.15). Без даних: апріорна оцінка за чек-листом рівня збігається з позначкою, завдання помічене «до калібрування».
1b у сусідній смузі в межах допуску, або апріорна оцінка розходиться на 1 рівень. Виправно перепозначенням.
0b поза смугою понад допуск (виміряна інфляція/дефляція); або рівень L3–L4 при К3=0. Рівень «за задумом» без обґрунтування = 0.
К5Стійкість до запам'ятовування
2Параметризований шаблон із простором ізоморфів ≥10⁴ (порахованим); поверхневі ознаки варіюються; знання одного ізоморфа не дає відповіді іншого без розв'язання.
1Шаблон є, але простір 10²–10⁴, або частина параметрів фіксована так, що витік кількох екземплярів компрометує сім'ю.
0Унікальний нешаблонний екземпляр зі скінченним ключем → стоп-фактор С5.
К6Чесність змісту
2У логіці/числах: зміст кодований/безглуздий або явно повний — уся потрібна інформація в умові. У вербальних: перевіряється робота з поданим текстом, а не ерудиція.
1Умова формально повна, але побутовий контекст може підказувати/збивати.
0Розв'язання спирається на факт поза умовою → стоп-фактор С3.
К7Мова
2Природна літературна українська; правильні відмінки (зокрема орудний після «є»: «є прикладом», не «є приклад»); термінологія послідовна; варіанти граматично однорідні.
1Стилістична шорсткість чи одруківка, що не впливає на розуміння. Виправно коректурою.
0Суржик, калька, помилка відмінка/керування, або мовна неоднорідність варіантів, що підказує відповідь → стоп-фактор С4.
К8Дискримінативність
2Є дані: точково-бісеріальна кореляція ключа r ≥ 0.25 (або a-параметр ≥ 0.7); кожен дистрактор обирає ≥3% нижньої половини; r дистракторів < 0. Без даних: рецензент підтверджує, що завдання не розв'язується вгадуванням за форматом.
1r = 0.15…0.25; або один «мертвий» дистрактор (<1% виборів); або частка правильних <10% чи >95% при адекватному рівні.
0r < 0.15; або дистрактор з додатною кореляцією зі здібністю (притягує сильних — ознака двозначності, перевір С2).
Правило підсумкового рішення
Максимум — 16 балів (8 критеріїв × 2).
| Рішення | Умови (усі одночасно) |
|---|
| ПРИЙНЯТИ | Жодного стоп-фактора · сума ≥ 14 · жодного «0» · К1 = 2 і К4 = 2 |
| ДООПРАЦЮВАТИ | Жодного стоп-фактора · сума 10–13 · не більше одного «0» (і той не в К1) · дефекти локальні (виправні редагуванням, перепозначенням, коректурою) |
| ВІДХИЛИТИ | Будь-який стоп-фактор · або сума ≤ 9 · або ≥2 критерії з «0» · або К3 = 0 без можливості перебудувати формат |
Після доопрацювання завдання проходить рубрик повторно з нуля (не «дозалік» виправлених пунктів).
Чек-лист призначення рівня (1–4)
Виконується послідовно; зупинися на першому кроці, який дає відповідь.
- Стеля формату. Формат — пригадування (синонім/антонім/категорія/факт)? → максимум L2, крапка. L3–L4 доступні лише форматам з масштабованою операцією.
- Емпірика передусім. Є калібрувальний b (n≥200)? → рівень = смуга. Позначка автора не має голосу проти виміру; на межі (±0.15) — залишай поточний рівень, познач «межовий».
- Без емпірики — рахуй операції. L1 — 1 операція, правило видно одразу · L2 — 1–2 операції, правило треба виявити · L3 — 2–3 незалежні операції, які треба скомбінувати · L4 — ≥3 операції + необхідність відкинути хибну першу гіпотезу.
- Познач статус. Апріорний рівень маркується «до калібрування» і автоматично перепозначається після набору n≥200.
- Заборонено: рівень «за задумом», «бо здалося важким», «бо рідкісне слово», «бо довга умова». Довжина умови ≠ складність міркування.
Приклади застосування
Приклад A — сильне завданняПРИЙНЯТИ · 16/16
Фігуральна матриця 3×3: по рядках фігура обертається на 90°, кількість позначок зменшується на 1; знайти дев'яту клітинку. Зміст абстрактний, шаблон параметризований (≈2·10⁵ ізоморфів). Позначено L3; калібрування: b = 0.92, r = 0.41.
К1 · 2К2 · 2К3 · 2К4 · 2К5 · 2К6 · 2К7 · 2К8 · 2
- К1=2 — перерозв'язувач тричі зійшовся, кожен дистрактор спростовний з умови.
- К2=2 — дистрактори «лише обертання», «лише зміна кількості», «протилежний напрям», «off-by-one» — усі мал-правила названі.
- К3=2 — два незалежні правила, які треба виявити й скомбінувати. К4=2 — b=0.92 у смузі L3.
- Стоп-факторів немає, сума 16 ≥ 14 → Прийняти.
Приклад Б — слабке завданняВІДХИЛИТИ
«Оберіть антонім до слова “щедрий”: а) скупий; б) жадібний; в) багатий; г) веселий». Позначено L4.
К1 · 0К2 · 1К3 · 0К4 · 0К5 · 0К6 · 2К7 · 2К8 · —
- К1=0 → стоп-фактор С2: «скупий» і «жадібний» — обидва захищувані антоніми; перерозв'язувач не сходиться.
- К3=0: чисте пригадування словника — жодного кроку міркування; стеля формату L2.
- К4=0: позначка L4 при форматі-пригадуванні — інфляція рівня (типовий кейс із виміряних 44% банку); фактичний b ≈ −0.8 (смуга L1).
- К5=0 → стоп-фактор С5: один ізоморф; пара «щедрий→скупий» завчується з публічного дзеркала за секунду.
Рішення: Відхилити (стоп-фактори С2 і С5). Рекомендація авторові: не редагувати, а замінити формат на масштабований (напр., вербальні аналогії з кодованими відношеннями).
Для автоперевірок: К1 (перерозв'язувач), К4 (смуга b), К5 (лічильник ізоморфів), К8 (r, частки виборів) обчислюються конвеєром автоматично; рецензент-людина підтверджує К2, К3, К6, К7 і фінальне рішення.