چرا آزمون شغلی استعدادیاب شغل‌ها را رتبه‌بندی نمی‌کند

آزمون شغلی استعدادیاب را تمام کرده‌اید و منتظر یک فهرست مرتب هستید: شغل اول، شغل دوم، شغل سوم. اما نتیجه این شکل را ندارد. شغل‌ها در سه گروه آمده‌اند و داخل هر گروه به ترتیب الفبا چیده شده‌اند. کنار هیچ شغلی هم عددی مثل «۸۷ درصد تناسب» نمی‌بینید. شاید بپرسید چرا آزمون نمی‌گوید کدام شغل برای من بهترین است. در این مقاله توضیح می‌دهیم که این انتخاب عمدی است و چرا آن را صادقانه‌تر می‌دانیم.

آزمون چطور شغل‌ها را پیدا می‌کند

در آزمون شغلی استعدادیاب به ۶۰ سؤال دربارهٔ ۲۰ حوزهٔ علاقه پاسخ می‌دهید. از پاسخ‌های شما یک الگو ساخته می‌شود: کدام حوزه‌ها برایتان جذاب‌تر است و کدام کمتر. فهرست شغل‌ها ۹۲۳ شغل دارد که از O*NET گرفته شده است. O*NET پایگاه اطلاعات شغلی وزارت کار آمریکا است. هر شغل هم الگویی دارد که نشان می‌دهد بیشتر با کدام حوزه‌ها سروکار دارد. آزمون الگوی شما را با الگوی تک‌تک این شغل‌ها مقایسه می‌کند.

ابزار این مقایسه همبستگی است. همبستگی عددی است که نشان می‌دهد دو الگو چقدر هم‌شکل‌اند. نکتهٔ مهم این است که همبستگی به شکل الگو نگاه می‌کند، نه به سطح آن. فرض کنید شما به بیشتر سؤال‌ها نمرهٔ بالا داده‌اید و دوستتان نمرهٔ متوسط، اما هر دو نوشتن و هنر را بیشتر از کار با اعداد دوست دارید. شکل الگوی شما دو نفر یکی است، پس شغل‌های مشابهی به هر دو پیشنهاد می‌شود. این مهم است، چون عادت هر کس در نمره دادن چیزی دربارهٔ شغل مناسب نمی‌گوید.

این روش را ما اختراع نکرده‌ایم. O*NET در آزمون علاقهٔ خودش، یعنی Interest Profiler، همین کار را می‌کند. راهنمای این آزمون می‌گوید مقایسه بر پایهٔ شکل یا الگوی نمره‌ها است، نه سطح مطلق آن‌ها.

پژوهش هم این انتخاب را تأیید می‌کند. نای، سو، راندز و دراسگو در سال ۲۰۱۷ یک فراتحلیل منتشر کردند. فراتحلیل یعنی پژوهشی که نتیجهٔ ده‌ها پژوهش دیگر را با هم جمع‌بندی می‌کند. آن‌ها ۹۲ پژوهش و ۱٬۸۵۸ عدد همبستگی را بررسی کردند. هم‌خوانی الگوی علاقهٔ فرد با الگوی محیط کار با عملکرد او همبستگی حدود ۰٫۳۲ داشت. نمرهٔ خام علاقه، به‌تنهایی، فقط حدود ۰٫۱۶. یعنی رابطهٔ هم‌شکلی الگو‌ها با عملکرد تقریباً دو برابر نمرهٔ خام است. این عدد‌ها بزرگ نیستند و نشان می‌دهند علاقه فقط یکی از عامل‌های موفقیت است. اما نشان می‌دهند که مقایسهٔ الگو راه درست‌تری است.

سه سطح به‌جای یک رتبه

نتیجهٔ مقایسه برای هر شغل یک عدد همبستگی است. ساده‌ترین کار این بود که شغل‌ها را از بزرگ‌ترین عدد به کوچک‌ترین مرتب کنیم. ما این کار را نمی‌کنیم. شغل‌ها را در سه سطح نشان می‌دهیم و داخل هر سطح، شغل‌ها به ترتیب الفبا می‌آیند.

دلیل این کار خطای اندازه‌گیری است. خطای اندازه‌گیری یعنی فاصلهٔ میان نمره‌ای که آزمون ثبت می‌کند و آنچه واقعاً در ذهن شما است. هر حوزهٔ علاقه در این آزمون با سه سؤال اندازه گرفته می‌شود. سه سؤال آزمون را کوتاه نگه می‌دارد، اما یعنی اگر چند روز بعد دوباره پاسخ دهید، بعضی نمره‌هایتان کمی جابه‌جا می‌شود. اگر شغلی امروز رتبهٔ سوم باشد و شغل دیگری رتبهٔ ششم، فاصلهٔ آن دو ممکن است فقط همین جابه‌جایی کوچک باشد. اعلام رتبه یعنی ادعای دقتی که آزمون ندارد. سطح‌ها فقط تفاوت‌های بزرگ‌تر را نشان می‌دهند؛ تفاوت‌هایی که احتمال کمتری دارد با یک بار پاسخ دادنِ متفاوت عوض شوند.

O*NET هم همین راه را رفته است. در راهنمای آزمون علاقهٔ آن، همبستگی ۰٫۷۲۹ و بالاتر «بهترین تناسب» است، ۰٫۶۰۸ تا ۰٫۷۲۸ «تناسب خیلی خوب» و از صفر تا کمتر از ۰٫۶۰۸ «تناسب خوب». شغل‌هایی که همبستگی منفی دارند برای جست‌وجو پیشنهاد نمی‌شوند. داخل هر سطح هم شغل‌ها به ترتیب الفبا فهرست می‌شوند. آزمون ما ۲۰ حوزهٔ علاقه دارد و آزمون O*NET شش حوزه؛ پس مرز‌های سه سطح در آزمون ما تصمیم کارشناسی گروه استعدادیاب است و هنوز با اطلاعات کاربران فارسی‌زبان آزموده نشده است.

وقتی علاقه‌های شما به هم نزدیک است

گاهی نمره‌های یک نفر در ۲۰ حوزه به هم نزدیک است: همه‌چیز کمی جالب است، یا هیچ‌چیز خیلی جالب نیست. به این حالت «الگوی صاف» می‌گوییم. در الگوی صاف، بالا و پایین‌ها کوچک‌اند و همان خطای اندازه‌گیری می‌تواند جای آن‌ها را عوض کند. پس هم‌شکلی با هر شغل خاص کمتر قابل اتکا است.

در این حالت آزمون دو کار می‌کند. اول، فهرست را بازتر می‌کند و در بالای نتیجه به‌جای حدود هفت شغل، ده شغل نشان می‌دهد. دوم، صریح به شما می‌گوید که علاقه‌هایتان به هم نزدیک بوده است و نتیجه را باید با احتیاط بیشتری خواند. به نظر ما نشان دادن یک فهرست مطمئن‌نما در این حالت کار درستی نیست.

راهنمای O*NET هم این حالت را می‌شناسد. آنجا آمده است که گزینهٔ «پیدا کردن شغل‌های بیشتر» برای کسانی که به دلیل الگوی صاف شغل‌های کمی دریافت کرده‌اند به‌ویژه مفید است. الگوی صاف ایراد شما نیست. شاید هنوز فرصت تجربهٔ زمینه‌های مختلف را نداشته‌اید، یا واقعاً علاقه‌های گسترده‌ای دارید. پیشنهاد ما این است که چند شغل از فهرست را از نزدیک بشناسید و پس از مدتی دوباره به آزمون پاسخ دهید.

چرا حدود هفت شغل، نه پنجاه شغل

در بالای نتیجه حدود هفت شغل می‌بینید و این شغل‌ها عمداً از زمینه‌های مختلف انتخاب شده‌اند. اگر شغل‌ها را فقط بر اساس عدد همبستگی جدا می‌کردیم، چند شغل اول اغلب شبیه هم بودند؛ مثلاً پنج نوع مهندسی پشت سر هم. چنین فهرستی یک زمینه را تکرار می‌کند و راه‌های دیگر را پنهان می‌کند.

فهرست پنجاه‌تایی هم مشکل دیگری دارد. خواندن و مقایسهٔ پنجاه شغل برای بیشتر افراد ممکن نیست و در عمل فقط چند شغل اول دیده می‌شود. یعنی همان رتبه‌بندی که از آن پرهیز کرده‌ایم، بی‌صدا برمی‌گردد. بقیهٔ شغل‌های متناسب از بین نمی‌روند؛ فقط در صدر نتیجه نمی‌آیند. فهرست کامل، تا ۱۲۰ شغل، پشت یک لینک در همان صفحه است.

عدد هفت یک قانون علمی نیست و رأی کارشناسی ما است. اما با تجربهٔ O*NET هم‌سو است. آزمون علاقهٔ O*NET برای هر سطح آمادگی شغلی حدود ۱۰ شغل را هدف می‌گیرد. سطح آمادگی یعنی میزان تحصیل و تجربه‌ای که شغل لازم دارد. اگر در یک سطح کمتر از ۷ شغل پیدا شود، آزمون به فرد می‌گوید که تعداد کمی از شغل‌ها با الگوی علاقهٔ او می‌خواند.

چرا درصد تناسب نشان نمی‌دهیم

عددی مثل «۸۷ درصد تناسب» دقیق و علمی به نظر می‌رسد. اما سه مشکل دارد:

1. همبستگی درصد نیست. همبستگی ۰٫۸۷ به این معنی نیست که ۸۷ درصد از یک شغل با شما جور است. تبدیل آن به درصد معنایی می‌سازد که واقعیت ندارد.
2. دقتی را نشان می‌دهد که وجود ندارد. با سه سؤال برای هر حوزه، فرق ۸۵ و ۸۹ درصد بیشتر خطای اندازه‌گیری است تا تفاوت واقعی.
3. به تصمیم کمک نمی‌کند. کرامر و همکارانش در سال ۲۰۰۸ آزمایشی با ۶۰ نفر انجام دادند. توضیح دادنِ اینکه چرا یک پیشنهاد داده شده است، پذیرش پیشنهاد‌ها را بالا برد. اما نشان دادن میزان اطمینان سیستم نه بر اعتماد اثر داشت و نه بر پذیرش. این آزمایش دربارهٔ آثار هنری بود، نه شغل؛ پس نتیجه‌اش را با احتیاط به کار می‌بریم.

وسوسهٔ دیگری هم هست: ساختن فرمولی پیچیده که به هر حوزه وزنی بدهد و عددی دقیق بیرون بدهد. داوس در سال ۱۹۷۹ نشان داد که مدل‌های ساده با وزن برابر اغلب به خوبی مدل‌های وزن‌دار پیش‌بینی می‌کنند، یا حتی بهتر. مدلی که وزن‌هایش از روی اطلاعات افراد تنظیم شده است، معمولاً فقط وقتی برتری پیدا می‌کند که برای هر عامل اطلاعات حدود ۱۵ تا ۲۰ نفر را داشته باشد.

ما هنوز نمونهٔ بزرگ فارسی نداریم که چنین وزن‌هایی را با آن تنظیم کنیم. هنوز هنجار فارسی هم نداریم. هنجار یعنی جدولی که نشان می‌دهد نمرهٔ شما در مقایسه با گروه بزرگی از افراد شبیه شما کجا قرار می‌گیرد. پس هر عدد دقیقی که نشان می‌دادیم، پشتوانه نداشت. یک محدودیت دیگر هم هست: شرح شغل‌ها در O*NET از بازار کار آمریکا آمده است و بعضی شغل‌ها در ایران شکل دیگری دارند. جزئیات روش را در صفحهٔ روش علمی نوشته‌ایم.

آنچه برای شما معنی می‌دهد

• شغل‌های سطح «تناسب عالی» نقطهٔ شروع جست‌وجو هستند، نه حکم نهایی. آزمون نمی‌گوید کدام شغل حتماً برای شما مناسب است.
• ترتیب الفبا یعنی آزمون نمی‌تواند با اطمینان بگوید کدام شغلِ یک سطح از بقیه بهتر است. انتخاب میان آن‌ها با شناخت بیشتر از خودتان و از شغل‌ها است.
• اگر پیام نزدیک بودن علاقه‌ها را دیدید، فهرست را با احتیاط بخوانید و بعداً دوباره به آزمون پاسخ دهید.
• علاقه فقط یکی از عامل‌ها است. توانایی، شرایط تحصیل و بازار کار هم اهمیت دارد. گفت‌وگو با یک مشاور می‌تواند این تکه‌ها را کنار هم بگذارد.

منابع

1. Nye, C. D., Su, R., Rounds, J., & Drasgow, F. (2017). Interest congruence and performance: Revisiting recent meta-analytic findings. Journal of Vocational Behavior, 98, 138–151. https://experts.illinois.edu/en/publications/interest-congruence-and-performance-revisiting-recent-meta-analyt/
2. Rounds, J., Hoff, K., & Lewis, P. (Eds.) (2021). O*NET Interest Profiler Manual. National Center for O*NET Development, U.S. Department of Labor. https://www.onetcenter.org/dl_files/IP_Manual.pdf
3. Cramer, H., Evers, V., Ramlal, S., van Someren, M., Rutledge, L., Stash, N., Aroyo, L., & Wielinga, B. (2008). The effects of transparency on trust in and acceptance of a content-based art recommender. User Modeling and User-Adapted Interaction, 18, 455–496. https://link.springer.com/article/10.1007/s11257-008-9051-3
4. Dawes, R. M. (1979). The robust beauty of improper linear models in decision making. American Psychologist, 34(7), 571–582. https://www.cmu.edu/dietrich/sds/docs/dawes/the-robust-beauty-of-improper-linear-models-in-decision-making.pdf

این مقاله را گروه پژوهش استعدادیاب نوشته است؛ تاریخ: مهر ۱۴۰۵.