Недоверчивы, но не разборчивы: как молодёжь Казахстана и простой классификатор отличают мошеннические сообщения от настоящих

Коротко

• Участники распознали 93,1% мошеннических сообщений, но приняли только 74,4% настоящих: каждое четвёртое настоящее сообщение они сочли мошенничеством.
• Самым трудным оказалось не мошенничество, а настоящее уведомление банка: 54,5% решили, что это обман.
• Уверенность в себе не связана с точностью (ρ = −0,03): те, кто считал себя экспертом, распознавали не лучше остальных.
• Сообщение «от банка», где давят авторитетом и срочностью, пропустил каждый пятый, а приманку с вознаграждением — лишь 3–4%.
• Простой классификатор набрал 6 из 10 против 8,56 у людей и назвал мошенничеством все настоящие сообщения.
• Главный вывод: молодёжь научилась подозревать, но не научилась различать.

Почему это важно

Интернет-мошенничество стало главной категорией преступлений в Казахстане: в 2025 году зарегистрировано 28 900 случаев против 517 в 2018-м. Это 23,3% всех преступлений — почти каждое четвёртое (Finprom.kz, по данным 24.kz). Чаще всего мошенничество приходит коротким сообщением или звонком «от банка».

При этом никто ещё не измерял, насколько хорошо молодые люди в Казахстане отличают такие сообщения от настоящих. Существующие исследования либо опираются на англоязычные электронные письма, либо спрашивают людей, как они себя оценивают, вместо того чтобы проверить их на деле. А единственный казахский корпус для автоматического распознавания спама переведён с английского.

Как измеряли

Участники

В октябре 2026 года через школьные чаты, Instagram лаборатории и личные связи было собрано 106 анкет. После исключений — одна пустая анкета, трое не прошли проверку внимания, двое дали одинаковый ответ на все вопросы, 23 участника указали возраст вне диапазона 14–22 — осталось 77 человек от 14 до 22 лет. 91% из них живут в Астане, у 96% есть своя банковская карта или приложение.

Анкета

Четыре блока в фиксированном порядке:

1. О себе: возраст, пол, город, язык обучения, есть ли карта, проходил ли курс финансовой грамотности.
2. Самооценка: насколько ты уверен, что отличишь мошенничество (1–5), и насколько ты финансово грамотен (1–5).
3. Тест: десять коротких сообщений — шесть мошеннических и четыре настоящих.
4. Опыт: сталкивался ли ты с мошенниками, через какие каналы, теряли ли деньги ты или твои близкие.

Самооценка стоит до теста, чтобы ответ не зависел от того, насколько трудным тест покажется. Вопросы об опыте — после теста, чтобы перечисление мошеннических схем не подсказывало ответы.

Сообщения

Мошеннические сообщения построены по схемам с портала Fingramota.kz регулятора финансового рынка: «проблема с безопасностью» от банка, выигрыш, подработка с предоплатой, курьер, требующий доплату, просьба продиктовать код, знакомый, которому «срочно нужны деньги». У каждого есть главный психологический рычаг: авторитет, срочность, вознаграждение или доверие.

Среди настоящих сообщений два «трудных»: SMS с одноразовым кодом и уведомление о заявке на кредит. Внешне они похожи на мошеннические — и именно на них видно, кто проверяет смысл сообщения, а кто реагирует на «опасные» слова.

Каждое сообщение оценивалось по шкале из четырёх вариантов: «точно мошенничество», «скорее мошенничество», «скорее настоящее», «точно настоящее». Так из одного ответа получаются и само решение, и уверенность в нём.

Модель

Для сравнения был обучен намеренно простой классификатор — TF-IDF и логистическая регрессия — на 246 сообщениях на казахском и русском языках: 133 мошеннических и 113 настоящих. Десять сообщений из теста в обучение не входили: модель и люди оценивали одни и те же тексты.

Что показали данные

Точность

В среднем участники верно оценили 8,56 сообщения из 10; 14 человек (18%) ответили правильно на все. Но два типа ошибок оказались очень неравными:

• мошеннических сообщений распознано 93,1%;
• настоящих принято только 74,4% — каждое четвёртое настоящее сообщение названо мошенничеством.

70% участников нашли все шесть мошеннических сообщений, но 69% отвергли хотя бы одно настоящее. Теория обнаружения сигналов показывает это смещение напрямую: критерий c = −0,32 (p < 0,001) — при любом сомнении участники склонны отвечать «мошенничество».

Сообщения отсортированы от самого трудного к самому лёгкому.

Самым трудным оказалось настоящее сообщение: банк советует позвонить по номеру на обороте карты — то есть даёт ровно тот совет, который дают специалисты по защите от мошенничества. 54,5% участников решили, что это обман, а 36,4% выбрали «точно мошенничество».

Уверенность и точность (H1)

80,5% участников оценили свою способность распознать мошенничество на 4 или 5 из 5. Но эта оценка никак не связана с реальной точностью (ρ = −0,03, p = 0,83), как и самооценка финансовой грамотности (ρ = −0,03). Уверенные в себе набрали в среднем 8,63, менее уверенные — 8,27; разница незначима (p = 0,67).

При этом самоуверенности в среднем нет: заявленная уверенность оказалась примерно на 10 пунктов ниже реальной точности. Внутри теста уверенность частично соответствовала результату — «точно» выбирали в 68,9% верных ответов и в 45,0% ошибочных. Но почти половина ошибок сделана с полной уверенностью.

Какие приёмы работают (H2)

Хуже всего распознавали сообщение от имени банка, где авторитет сочетается со срочностью: его пропустил каждый пятый (распознали 77,9%). Сообщения с вознаграждением распознали 96–97%. В парном сравнении 15 человек пропустили «банк», но распознали «подработку», и только один — наоборот (p < 0,001).

Сообщение, где давят только срочностью (курьер), распознали 94,8%. Значит, разницу создаёт авторитет или конкретная формулировка, — а когда на каждый приём приходится одно сообщение, разделить их нельзя.

Люди против модели (H3)

На собственном корпусе модель работала хорошо: точность при кросс-валидации — 0,84. Но на десяти сообщениях из теста модель на уровне слов назвала мошенничеством все и набрала 6 из 10; модель на уровне символов — 7 из 10. Ни одна из 24 опробованных конфигураций не достигла среднего результата людей (8,56). Результат 6 из 10 или ниже был лишь у 5 участников из 77 (6,5%).

Веса модели показывают, почему так вышло. Сильнее всего на «мошенничество» указывали заглушка ссылки, казахский послелог «үшін» и токен «000», а цифровые форматы уведомлений — на «настоящее». Модель выучила поверхностные признаки своего корпуса, а не логику того, о чём сообщение просит.

Опыт

70% участников получали мошеннические сообщения или звонки — чаще всего звонками (66%), по SMS (47%), в Telegram (38%) и WhatsApp (35%). Самые частые предлоги: выигрыш или розыгрыш (52%), лёгкий заработок или инвестиции (29%), звонок «из банка» (21%), просьба продиктовать код (18%). Деньги чаще теряли близкие, чем сами участники: лично — 6%, друзья — 13%, родители и родственники — 24%.

Значимых различий между группами нет: прошедшие курс финансовой грамотности набрали 8,50, не проходившие — 8,75 (p = 0,28); учащиеся на казахском и русском — 8,74 и 8,63 (p = 0,66); 14–15-летние и 16–17-летние — 8,82 и 8,47 (p = 0,29).

Что это значит

Проблема не в доверчивости, а в неразборчивой подозрительности. Участники запомнили набор «опасных» слов — банк, кредит, код, ссылка — вместо того чтобы смотреть, чего сообщение на самом деле от них хочет. Настоящие сообщения, в которых не было ни требования заплатить, ни просьбы сообщить код, ни предложения написать незнакомцу, отвергались почти в четыре раза чаще, чем принимались мошеннические (25,6% против 6,9%).

У ложной тревоги есть цена: тот, кто игнорирует настоящее уведомление о заявке на кредит, может пропустить мошеннический кредит, оформленный на его имя.

• Школам и кампаниям стоит учить различению, а не подозрительности: показывать мошенническое сообщение в паре с похожим настоящим и учить главному вопросу — что тебя просят сделать и через какой канал.
• Банкам стоит избегать в настоящих уведомлениях признаков, которые ассоциируются с мошенничеством.
• Samuryq стоит строить упражнения на парах «мошенническое — настоящее» и проверять любой встроенный детектор на трудных настоящих сообщениях, а не только на мошенничестве.

Ограничения

• Выборка удобная и небольшая. 77 человек, 91% из Астаны, набраны в основном через школьные чаты — на всю молодёжь Казахстана результаты не переносятся.
• Одно сообщение на приём. Эффект приёма нельзя отделить от конкретной формулировки, а часть сообщений оказалась слишком лёгкой.
• Участники знали, что их проверяют. Точность в тесте — верхняя граница того, как они действуют в обычной жизни.
• Порядок сообщений был фиксированным, а проверка внимания была только у первых 19 участников.
• Язык. Девять из десяти сообщений были на русском, хотя 55% участников учатся на казахском.
• Опыт и потери известны только со слов участников.
• Корпус модели маленький и в основном составлен для этого исследования — скорее всего, поэтому модель и выучила поверхностные признаки.

Благодарности

В сборе данных участвовали команда Samuryq Lab и Jas Volunteers.

Литература

• Agency of the Republic of Kazakhstan for Regulation and Development of the Financial Market. (2024, January 17). Финансовая грамотность населения Казахстана: тренды и вызовы [Financial literacy of the population of Kazakhstan: Trends and challenges]. https://www.gov.kz/org/ardfm/press/article/details/148893?lang=ru
• Ahmadi, M., Khajavi, M., Varmaghani, A., Ala, A., Danesh, K., & Javaheri, D. (2025). Leveraging large language models for cybersecurity: Enhancing SMS spam detection with robust and context-aware text classification. arXiv. https://arxiv.org/abs/2502.11014
• Amaral Cejas, O., Guo, Y., & Tang, Q. (2026). Large-scale multilingual SMS fraud detection for telecom networks. In Proceedings of the Second International Conference on Natural Language Processing and Artificial Intelligence for Cyber Security (pp. 64–73). University of Alicante. https://aclanthology.org/2026.nlpaics-1.7/
• Fingramota.kz. (2026). «Мы вернём ваши деньги»: как мошенники заманивают жертв в новую ловушку. Agency for Regulation and Development of the Financial Market of the Republic of Kazakhstan. https://fingramota.kz/
• Finprom.kz. (2026). Почти каждое четвёртое преступление в Казахстане связано с интернет-мошенничеством. Reported by 24.kz. https://24.kz/ru/news/economyc/787066-pochti-kazhdoe-chetvertoe-prestuplenie-v-kazakhstane-svyazano-s-internet-moshennichestvom-nazvany-tsifry
• Gottfried, J., Park, E., & Anderson, M. (2025, July 31). Online scams and attacks in America today. Pew Research Center. https://www.pewresearch.org/internet/2025/07/31/online-scams-and-attacks-in-america-today/
• Ismailova, R., Muhametjanova, G., Medeni, T. D., Medeni, I. T., Soylu, D., & Dossymbekuly, O. A. (2019). Cybercrime risk awareness rate among students in Central Asia: A comparative study in Kyrgyzstan and Kazakhstan. Information Security Journal: A Global Perspective, 28(4–5), 127–135. https://doi.org/10.1080/19393555.2019.1685142
• Lastdrager, E., Carvajal Gallardo, I., Hartel, P., & Junger, M. (2017). How effective is anti-phishing training for children? In Proceedings of the Thirteenth Symposium on Usable Privacy and Security (SOUPS 2017) (pp. 229–239). USENIX Association.
• Mukhammed-Ali, K., & Assem, S. (2026). Applying large language models to spam detection in the Kazakh low-resource language setting. Scientific Reports, 16, Article 30145. https://doi.org/10.1038/s41598-026-60445-6
• Nicholson, J., Javed, Y., Dixon, M., Coventry, L., Dele-Ajayi, O., & Anderson, P. (2020). Investigating teenagers' ability to detect phishing messages. In 2020 IEEE European Symposium on Security and Privacy Workshops (EuroS&PW) (pp. 140–149). IEEE. https://doi.org/10.1109/EuroSPW51379.2020.00027
• OECD. (2018). Levels of financial literacy in Eurasia. OECD Publishing. https://doi.org/10.1787/1a064de1-en
• Sheng, S., Holbrook, M., Kumaraguru, P., Cranor, L. F., & Downs, J. (2010). Who falls for phish? A demographic analysis of phishing susceptibility and effectiveness of interventions. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2010), 373–382.
• Soylu, D., Medeni, T. D., Andekina, R., Rakhmetova, R., & Ismailova, R. (2021). Identifying the cybercrime awareness of undergraduate and postgraduate students: Example of Kazakhstan. In 2021 IEEE International Conference on Smart Information Systems and Technologies (SIST). IEEE. https://ieeexplore.ieee.org/document/9465995
• Soysaldı Şahin, M., Özkan Şahin, D., & Fateh Salah, A. (2026). Revisiting SMS spam detection: The impact of feature representation on classical machine learning models. Electronics, 15(4), 894. https://doi.org/10.3390/electronics15040894
• Umbetaliyeva, T., Rakisheva, B., & Teschendorf, P. (2016). Youth of Central Asia. Kazakhstan: Based on a sociological survey (2nd ed.; K. Hurrelmann, Ed.). Friedrich Ebert Foundation.
• UNESCO. (2022). Youth of Central Asia: Challenges for peacebuilding. A comprehensive research review. UNESCO.
• Vishwanath, A., Harrison, B., & Ng, Y. J. (2018). Suspicion, cognition, and automaticity model of phishing susceptibility. Communication Research, 45(8), 1146–1166. https://doi.org/10.1177/0093650215627483
• Wang, P., & Lutchkus, P. (2023). Psychological tactics of phishing emails. Issues in Information Systems, 24(2), 71–83. https://doi.org/10.48009/2_iis_2023_107
• Xiao, X., Li, X., & Zhou, Y. (2022). Financial literacy overconfidence and investment fraud victimization. Economics Letters, 212, 110308. https://doi.org/10.1016/j.econlet.2022.110308