سؤال کمتر، دقت همان: چگونه ۷۲ جمله جای ۱۲۰ جمله را گرفت

اگر آزمون شغلی استعدادیاب را داده باشید، شاید از خودتان پرسیده باشید: این همه جمله لازم است؟ اگر کمشان کنند، نتیجه دقتش را از دست نمی‌دهد؟ ما همین سؤال را دربارهٔ بخش «سبک‌های کاری» این آزمون با اطلاعات واقعی بررسی کردیم. نتیجه این شد که فرم رایگان امروز برای سنجش ویژگی‌ها ۷۲ جمله دارد (به‌اضافهٔ ۳ جملهٔ دیگر)، نه ۱۲۰ جمله، و نتیجه‌اش تقریباً به اندازهٔ فرم بلند با آزمون کامل هم‌خوان است. این‌جا می‌گوییم چه چیزی را آزمودیم و کدام ایده‌ها را کنار گذاشتیم.

چرا آزمون بلند به نتیجه آسیب می‌زند

در یک پژوهش روی فرم‌های اینترنتی، افراد به سؤال‌های انتهای فرم سریع‌تر، کوتاه‌تر و یکنواخت‌تر پاسخ دادند تا به سؤال‌های ابتدای آن (Galesic & Bosnjak, 2009). پاسخ یکنواخت یعنی فرد، بدون توجه به متن جمله‌ها، گزینه‌های کمابیش یکسانی را انتخاب می‌کند؛ چنین پاسخی اطلاعات کمی دربارهٔ خود او دارد.

البته همهٔ پژوهش‌ها هم‌صدا نیستند. در دو آزمایش با فرمی بیش از ۳۰۰ جمله‌ای، مقیاس‌هایی که در انتها آمده بودند تقریباً همان‌قدر معتبر بودند که مقیاس‌های ابتدای فرم (Bowling et al., 2022). برداشت ما این است: اگر بشود با سؤال کمتر همان نتیجه را گرفت، دلیلی ندارد وقت شما را بیشتر بگیریم. قاعدهٔ ما هم ساده بود: هیچ کوتاه‌سازی‌ای بدون آزمودن روی اطلاعات واقعی وارد آزمون نمی‌شود.

سبک‌های کاری و جمله‌هایی که مال همه است

بخش سبک‌های کاری بر پایهٔ الگوی شخصیتی HEXACO ساخته شده است. این الگو شخصیت را با شش عامل کلی (مانند صداقت و فروتنی، وظیفه‌شناسی و برون‌گرایی) و ۲۴ ویژگی ریزتر توصیف می‌کند. مثلاً «نظم» و «سخت‌کوشی» دو ویژگی از عامل وظیفه‌شناسی‌اند.

جمله‌های این بخش از «مخزن بین‌المللی جمله‌های شخصیت» یا IPIP آمده است. پژوهشگران سازندهٔ آن نسخه‌ای از الگوی HEXACO را با جمله‌هایی ساختند که مالکیت عمومی دارد؛ یعنی هر کسی می‌تواند بدون اجازه و بدون پرداخت هزینه از آن استفاده کند (Ashton, Lee & Goldberg, 2007). نسخهٔ کامل ۲۴۰ جمله دارد، برای هر ویژگی ۱۰ جمله. ما برای هر ویژگی ۵ جمله را به فارسی برگرداندیم و فرمی ۱۲۰ جمله‌ای ساختیم.

برای فرم کوتاه، از میان این ۵ جمله، ۳ جمله‌ای را نگه داشتیم که بیشترین اطلاعات را دربارهٔ نمرهٔ کامل همان ویژگی می‌دهند. جمله‌ها را یکی‌یکی انتخاب کردیم: هر بار جمله‌ای که در اطلاعات واقعی بیشترین سهم را در پیش‌بینی نمرهٔ ۱۰ جمله‌ای آن ویژگی داشت. حاصل، ۲۴ ویژگی ضرب در ۳ جمله، یعنی ۷۲ جمله است: ۴۰٪ سؤال کمتر.

نمره‌گذاری هم‌زمان: هر پاسخ دربارهٔ ویژگی‌های نزدیک هم چیزی می‌گوید

در روش معمول، نمرهٔ هر ویژگی فقط میانگین جمله‌های خود آن ویژگی است. اما ویژگی‌های شخصیت از هم جدا نیستند. کسی که خودش را منظم توصیف می‌کند، به احتمال بیشتری خودش را سخت‌کوش هم توصیف می‌کند. این رابطه کامل نیست، ولی اطلاعات دارد؛ و وقتی برای هر ویژگی فقط سه جمله داریم، حیف است اطلاعات جمله‌های ویژگی‌های نزدیک را کنار بگذاریم.

در نمره‌گذاری هم‌زمان، نمرهٔ هر ویژگی را از همهٔ ۷۲ پاسخ با هم برآورد می‌کنیم. نام فنی این روش «میانگین شرطی چندمتغیره» است؛ یعنی بهترین حدس دربارهٔ نمرهٔ کامل هر ویژگی، به شرط همهٔ پاسخ‌هایی که داده‌اید، با توجه به این‌که این ویژگی‌ها در گروه بزرگی از افراد چطور با هم بالا و پایین می‌روند. حاصل کار یک جدول وزن است که اطلاعات واقعی تعیینش می‌کند، نه سلیقهٔ ما.

این وزن‌ها را از اطلاعات عمومی پروژهٔ Open-Source Psychometrics برآورد کردیم. این مجموعه پاسخ‌های بی‌نام افرادی است که در یک سایت پژوهشی به همین جمله‌های IPIP-HEXACO پاسخ داده‌اند. از ۲۲٬۷۸۶ پاسخ‌دهندهٔ این مجموعه، پس از کنار گذاشتن پاسخ‌های ناقص، پاسخ‌هایی که همه یک گزینه بودند و پاسخ‌هایی که سؤال‌های کنترل همان مجموعه را رد کرده بودند، ۲۰٬۳۲۴ نفر ماندند. از این اطلاعات فقط وزن‌ها وارد آزمون شده است؛ خود پاسخ‌ها هرگز وارد سامانهٔ ما نمی‌شوند.

برای این‌که خودمان را فریب ندهیم، این اطلاعات را دو نیمه کردیم: وزن‌ها را روی یک نیمه برآورد کردیم و روی نیمهٔ دیگر آزمودیم، نیمه‌ای که در ساختن وزن‌ها هیچ نقشی نداشت. معیار مقایسه، آزمون کامل ۲۴۰ جمله‌ای بود. سؤال این بود: نشانه‌های شغلی‌ای که فرم کوتاه کنار شغل‌ها می‌گذارد، چند درصد با نشانه‌های آزمون کامل یکی است؟ نشانهٔ شغلی یعنی برچسب کوچکی کنار هر شغل که می‌گوید سبک کاری شما با خواسته‌های آن شغل چقدر جور است.

با نمره‌گذاری هم‌زمان، فرم ۷۲ جمله‌ای تقریباً به سطح فرم ۱۲۰ جمله‌ای با نمره‌گذاری ساده رسید. از پیش قرار گذاشته بودیم روش تازه فقط اگر در هر دو فرم بهتر باشد وارد آزمون شود. چنین شد و وزن‌های نهایی را روی همهٔ اطلاعات دوباره برآورد کردیم.

ایده‌هایی که آزمودیم و به‌کار نبردیم

سه راه شناخته‌شدهٔ دیگر را هم با شبیه‌سازی بررسی کردیم و فعلاً به‌کار نبردیم.

توقف زودهنگام در بخش علایق

ایده این است که آزمون وقتی پاسخ‌های باقی‌مانده دیگر نمی‌توانند فهرست شغل‌ها را عوض کنند، همان‌جا تمام شود. در نسخهٔ قبلی بخش علایق (شش تیپ، هر تیپ ده جمله) این کار حدود ۱۵٪ سؤال کم می‌کرد. نسخهٔ امروز ۲۰ حوزهٔ علاقه دارد و هر حوزه فقط سه جمله، یعنی ۶۰ جمله. جمله‌های فارسی این نسخه تازه نوشته شده‌اند و هنوز پاسخ واقعی کافی ندارند؛ پس پاسخ‌ها را شبیه‌سازی کردیم و نوسان طبیعی پاسخ‌ها را از اطلاعات عمومی آزمون‌های علایق برآورد کردیم. نوسان یعنی همان فرد اگر دوباره پاسخ دهد، همیشه همان گزینه را انتخاب نمی‌کند. با این نوسان واقعی، آزمون به‌طور میانگین بعد از ۵۹ تا ۵۹٫۶ جمله از ۶۰ جمله تمام می‌شد؛ یعنی صرفه‌جویی کمتر از یک سؤال.

آزمون انطباقی برای شخصیت

در آزمون انطباقی، رایانه هر سؤال بعدی را بر اساس پاسخ‌های قبلی شما انتخاب می‌کند تا با سؤال کمتر به همان دقت برسد. در شبیه‌سازی ما، برای بخش شخصیت این روش بهتر از یک فرم کوتاه خوب‌انتخاب‌شده نبود. پژوهش‌های پیشین هم چیزی شبیه این دیده‌اند: در آزمون شخصیتی NEO PI-R، حدود چهار جمله برای هر ویژگی نمرهٔ کامل را خوب بازسازی کرد، اما برای بسیاری از ویژگی‌ها چهار جملهٔ ثابتِ خوب تقریباً همان نتیجهٔ روش انطباقی را داد (Reise & Henson, 2000). پژوهش دیگری نشان داد که اگر آزمون انطباقی رابطهٔ میان ویژگی‌ها را هم به حساب بیاورد، می‌شود آزمون را بسیار کوتاه کرد و دقت نمرهٔ ویژگی‌ها را نگه داشت (Makransky et al., 2013). برداشت ما این است که بخش «رابطهٔ میان ویژگی‌ها» را با نمره‌گذاری هم‌زمان به‌کار گرفته‌ایم، بی‌آن‌که آزمون انطباقی شود. جای اصلی آزمون انطباقی را آزمون‌های توانایی می‌دانیم و بعد از گردآوری اطلاعات فارسی سراغش می‌رویم.

آزمون‌های طبقه‌بندی پی‌درپی

این خانواده از روش‌ها به کار آماری Abraham Wald برمی‌گردد (Wald, 1947). در این روش‌ها آزمون عدد دقیقی برای شما برآورد نمی‌کند؛ فقط می‌پرسد آیا از یک مرز بالاتر هستید یا پایین‌تر، و به محض این‌که پاسخ روشن شد، می‌ایستد. این ایده بعدها در آزمون‌های انطباقی به‌کار رفت (Eggen, 1999) و به آزمون‌هایی با چند بعد هم رسید (van Groen et al., 2016). توقف زودهنگام بالا از همین خانواده است. نسخه‌های کامل این روش‌ها به ویژگی‌های آماری هر جمله نیاز دارند که باید از پاسخ‌های واقعی برآورد شوند؛ برای جمله‌های فارسی ما هنوز چنین اطلاعاتی نیست.

آنچه هنوز نمی‌دانیم

همهٔ اعداد بالا از اطلاعات انگلیسی‌زبان و مقیاس هفت‌درجه‌ای آمده‌اند؛ آزمون ما فارسی و پنج‌درجه‌ای است. برای استفاده از وزن‌ها، مقیاس هفت‌درجه‌ای را با یک تبدیل خطی به پنج درجه برگرداندیم؛ یعنی دو سر و وسط دو مقیاس را بر هم منطبق کردیم و بقیه را به همان نسبت. این کار فرض می‌کند فاصلهٔ گزینه‌ها در دو مقیاس یک‌جور است، و این فرض هنوز آزموده نشده است. ترجمه هم ممکن است معنای بعضی جمله‌ها را کمی جابه‌جا کرده باشد. پس وزن‌های امروز را موقت می‌دانیم و وقتی حدود هزار پاسخ فارسی جمع شود، آن‌ها را با پاسخ‌های فارسی دوباره برآورد می‌کنیم.

هنوز هنجار فارسی هم نداریم. هنجار یعنی جدولی که نشان می‌دهد پاسخ شما در مقایسه با گروه بزرگی از افراد مشابه کجا قرار می‌گیرد. برای ساختن هنجار هر دو فرم، از هر پنج نفری که آزمون را می‌دهند، یک نفر همچنان فرم بلند ۱۲۳ جمله‌ای را می‌گیرد (همان ۱۲۰ جمله به‌اضافهٔ ۳ جمله). به این ترتیب فرم کوتاه و بلند روی افراد فارسی‌زبان هم مقایسه می‌شوند.

آنچه برای شما معنی می‌دهد

• اگر بخش سبک‌های کاری را با ۷۲ جمله پاسخ می‌دهید، در آزمون ما روی اطلاعات واقعی حدود ۹۲٫۵٪ نشانه‌های شغلی با آزمون کامل یکی بود؛ یعنی از هر ۱۰۰ نشانه، حدود ۷ تا ۸ نشانه ممکن است با آزمون کامل فرق کند.
• اگر فرم بلندتر به شما رسید، خطایی رخ نداده است؛ پاسخ‌های شما به ساختن هنجار فارسی کمک می‌کند.
• نشانه‌های شغلی راهنمای گفت‌وگو و جست‌وجو هستند، نه حکم. اگر نتیجه برایتان سؤال ایجاد کرد، می‌توانید آن را با یک مشاور در میان بگذارید.
• همهٔ روش‌های این آزمون و وضعیت هر کدام در صفحهٔ روش علمی آمده است.

منابع

1. Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349–360. https://doi.org/10.1093/poq/nfp031
2. Bowling, N. A., Gibson, A. M., & DeSimone, J. A. (2022). Stop with the questions already. Does data quality suffer for scales positioned near the end of a lengthy questionnaire? Journal of Business and Psychology, 37(5), 1099–1116. https://doi.org/10.1007/s10869-021-09787-8
3. Ashton, M. C., Lee, K., & Goldberg, L. R. (2007). The IPIP–HEXACO scales: An alternative, public-domain measure of the personality constructs in the HEXACO model. Personality and Individual Differences, 42, 1515–1526. International Personality Item Pool: https://ipip.ori.org/newHEXACO_PI_key.htm
4. Open-Source Psychometrics Project (n.d., accessed 2026). Open psychology data: Raw data from online personality tests (IPIP HEXACO). https://openpsychometrics.org/_rawdata/
5. Reise, S. P., & Henson, J. M. (2000). Computerization and adaptive administration of the NEO PI-R. Assessment, 7(4), 347–364. https://doi.org/10.1177/107319110000700404
6. Makransky, G., Mortensen, E. L., & Glas, C. A. W. (2013). Improving personality facet scores with multidimensional computer adaptive testing: An illustration with the NEO PI-R. Assessment, 20(1), 3–13. https://doi.org/10.1177/1073191112437756
7. Wald, A. (1947). Sequential Analysis. New York: John Wiley & Sons.
8. Eggen, T. J. H. M. (1999). Item selection in adaptive testing with the sequential probability ratio test. Applied Psychological Measurement, 23(3), 249–261. Earlier version (Cito report 98-1, 1998): https://cito.nl/kennisbank-stichting-cito/item-selection-in-adaptive-testing-with-the-sequential-probability-ratio-test/
9. van Groen, M. M., Eggen, T. J. H. M., & Veldkamp, B. P. (2016). Multidimensional computerized adaptive testing for classifying examinees with within-dimensionality. Applied Psychological Measurement, 40(6), 387–404. https://doi.org/10.1177/0146621616648931

این مقاله را گروه پژوهش استعدادیاب نوشته است؛ تاریخ: مهر ۱۴۰۵.