چرایی انجام ارزشیابی فرایندی در آموزش و یادگیری

درک فلسفه و چرایی انجام یک کار، پیش‌فرضی ضروری به‌ویژه برای سیاست‌گذاران و تصمیم‌گیرندگان است. ارزشیابی فرایندی نیز از این قاعده مستثنی نیست. با دانستن چرایی ارزشیابی فرایندی در آموزش‌های علمی‌-‌کاربردی ضمن جلوگیری از تکرار خطاهای احتمالی، اثربخشی آموزش‌های عملی افزایش یافته و رضایت‌مندی و اثربخشی از آنها به‌ویژه برای فراگیران افزایش می‌یابد. سیاست‎گذاران، عاملان اجرایی و پژوهشگران عرصه آموزش و یادگیری به ارزشیابی باکیفیت برنامه‌های آموزشی نیاز دارند تا بتوانند

 مداخله‌های اثربخش را شناسایی کنند و مداخله‌های غیراثربخش را بهبود داده و اصلاح کنند. بدیهی است که ارزشیابی پیامدها نیز برای دست‌یابی به اهداف لازم و ضروری است (Bess et al., 2004)؛ اما، باید توجه کرد که ارزشیابی پیامدها و نتایج یک برنامه آموزشی به‌تنهایی کافی نیست و ابهامات زیادی را در مورد آن برنامه آموزشی باقی می‌گذارد. بر این اساس انجام دادن ارزشیابی فرایندی برای پاسخ به بسیاری از این ابهامات ضروری است. بنابراین انجام دادن ارزشیابی فرایندی به‌ویژه در برنامه‌های آموزشی علمی‌ـ‌کاربردی ضرورت دارد. به عنوان مثال (Moore et al., 2015):

- اگر مداخله‎گری در زمینه/ محیط‎ آموزشی خاصی اثربخش است، سیاست‎گذاران و تصمیم‌گیران به چه اطلاعات اضافی دیگری برای کسب اطمینان از موارد زیر نیاز دارند؟

- آیا سازمان یا متخصصان دیگر این مداخله‎گری را به همان شکل انجام خواهند داد؟

- اگر آنها قادر به انجام این کار باشند، آیا این امر همان برون‎دادها را در زمینه‎ها / محیط‎های جدید آموزشی خواهد داشت؟

- در سوی مقابل اگر مداخله‎گری به صورت کلی در زمینه ‎/ محیط آموزشی و یادگیری غیراثربخش باشد، سیاست‎گذاران به چه اطلاعات اضافی دیگری برای حصول اطمینان از موارد زیر نیاز دارند؟

- آیا شکست برنامه آموزشی به خود‌مداخله‎گری مربوط می‎شود یا اجرای ضعیف آن؟

- آیا مداخله‎گری به سود همه‎ جامعه‏، هدف آموزش است؟

- اگر این مداخله‎گری در زمینه / محیط‎ آموزشی دیگری انجام شود، آیا به همین اندازه غیراثربخش خواهد بود؟

- بازرسان در زمینه‎ هر یک از موارد زیر به چه اطلاعاتی نیاز دارند؟

- برای اطمینان از مقایسه‎ دو مداخله‎گری که کاملاً یکسان اجرا شده‎اند،برای فهم این‌که چرا مداخله‎گری باید اثرات مختلفی را در زمینه‎ها‌/‌محیط‎های آموزشی مختلف از خود بر جای بگذارد، چه باید کرد؟

     افزون بر‌این، ارزشیابی‎هایی با اثربخشی کلی مثبت، ممکن است به افزایش یا کاهش نابرابری در جامعه‏ هدف برنامه آموزشی منجر شود. هر‌چند که تحلیل‎های مربوط به زیرگروه‎ها ممکن است به ما این اجازه را بدهد که اثربخشی/ عدم اثربخشی نابرابری‏ها را تشخیص دهیم؛ اما فهم چگونگی تأثیرپذیری نابرابری‏ها از مداخله‎گری نیازمند درک دقیق‎تری از روابط علی- معلولی است. این امر از طریق ارزشیابی پیامدهای اجرای برنامه آموزشی امکان‎پذیر نیست و باید از ارزشیابی فرایندی برای این منظور بهره جست (Craig et al., 2008a; Craig et al., 2008b).

چگونگی برنامه‏ریزی، طراحی، اجرا و گزارش ارزشیابی فرایندی در برنامه‌‌ریزی آموزشی

در برنامه‏ریزی، طراحی، اجرا و گزارش ارزشیابی فرایندی در برنامه‌‌ریزی آموزشی باید به موارد مهمی توجه کرد. خلاصه‎ای از این موارد در قاب (1) عرضه شده است (Moore et al., 2015). ولی هر یک از این مراحل و نکاتی که در آنها باید مورد توجه قرار گیرد، نیز به صورت تفصیلی در ادامه آورده شده است. در‌این‌راستا، لازم است که در طراحی و اجرای ارزشیابی برنامه‌های آموزشی علمی‌ـ‌کاربردی این موارد از جمله؛ شناسایی و طرح سؤال‌ها و مفروضات ارزشیابی از فرایند برنامه آموزش (متناسب با آموزش‌های عملی و کاربردی)، نوع و ترکیب افراد تشکیل‌دهنده تیم ارزشیابی، وظایف و نوع انجام وظایف هر یک از اعضاء، سازوکار ارزشیابی فرایندی متناسب با آموزش‌های علمی-‌کاربردی، نوع جمع‌آوری داده‌ها و تحلیل‌های بعدی کمّی و کیفی، گزارش‌نویسی، مستندسازی، عرضه گزارش نهایی و به‌کارگیری عملیاتی از نتایج در بهبود روند برنامه آموزشی مورد توجه قرار گیرد.

برنامه‎ریزی ارزشیابی فرایندی در نظام آموزش‌های علمی‌-‌کاربردی

توجه و رعایت موارد زیر در برنامه‎ریزی ارزشیابی فرایندی در نظام آموزش‌های علمی-‌کاربردی بسیار سودمند است:

ارتباط با طراحان و مجریان مداخله‎گری‌های آموزش و یادگیری در نظام آموزش‌های علمی‌-‌کاربردی: در این حالت ارزشیابی فرایندی، مشاهده‎ انتقادی کارهای تیم مداخله‎گران آموزشی است. ایجاد و حفظ روابط کاری خوب و در‌عین‌حال حفظ استقلال خود، در ارزشیابی برای برخورداری از اعتبار لازم به‌عنوان ارزشیاب، چالشی است که باید به شدت مورد‌توجه قرار گیرد. تأمل در این زمینه‎ ‌که چگونه، این روابط، ارزشیاب را به مشاهده‎ مداخله‎گری با دیدگاهی کاملاً مثبت و یا کاملاً انتقادی رهنمون می‎کند، امری حیاتی است. شاید برنامه‎ریزی برای داوری و قضاوت بی‎طرفانه به وسیله‎ پژوهش‌گر با سهم سرمایه‎گذاری کم در برنامه‏ مورد‌نظر مفیدتر باشد. وجود چنین فردی می‎تواند مانع از تأثیرپذیری استقلال ارزشیاب از موقعیت او شود (Moore et al., 2015).

تصمیم‎گیری در‌زمینه‎ ساختارهای مورد نیاز برای بررسی و برطرف‎سازی مسائل پیش‎آمده: در طول ارزشیابی فرایندی، ارزشیابان ممکن است با یک‌سری مسائل و مشکلات اجرایی روبه‌رو شوند و بخواهند با سیاست‎گذاران و عاملان اجرایی در میان بگذارند (Patton, 1987). ارزشیاب فرایندی باید به این نکته توجه کند که آیا او در نقش یک مشاهده‎گر منفعل است، یا گاهی می‎تواند در بررسی و برطرف کردن مسائل اجرایی پیش‎آمده در طول ارزشیابی نیز نقش ایفا کند؟. در مرحله‎ امکان‎سنجی یا پایلوت، ارزشیابان باید نقش فعالی در حل این مسائل داشته باشند. ولی زمانی که آنها به دنبال افزایش اثربخشی در شرایط واقعی هستند، شاید بهتر باشد که نقش منفعل‎تری برای آنها قائل شد. زیرا تمرکز بیش از حد بر ارزشیابی فرایندی و حل مشکلات در آن، می‎تواند باعث ایجاد گسست در کار ارزشیابی و مداخله‎گری شود؛ به گونه‎ای که به تدریج ممکن است باعث حدف کامل فرایند مداخله‎گری و تمرکز بر ارزشیابی شود. از همان ابتدای شروع برنامه مداخله‎گری، باید نظام‎ها و ساز‌و‌کارهای لازم برای حل مسائل و مشکلات پیش‌آمده در حین اجرای برنامه آموزشی مورد توجه قرار گیرد (Moore et al., 2015).

روابط موجود در تیم‎های ارزشیابیِ آموزشی برای اجرای ارزشیابی فرایندی: ارزشیابی فرایندی در برنامه‌ریزی و انجام ارزشیابی آموزشی، معمولاً بخشی از برنامه‎ ارزشیابی بزرگتری است. این برنامه‏ ارزشیابی بزرگ شامل ارزشیابی پیامدها و یا تحلیل هزینه- فایده، برنامه‌های آموزش و یادگیری است. روابط میان عناصر ارزشیابی باید در مرحله‎ برنامه‏ریزی تعریف شود. همچنین نظارت و پایش محققی که همۀ جنبه‎ها را مورد‌توجه قرار می‎دهد، اهمیت زیادی دارد. اگر ارزشیابی پیامدها و ارزشیابی فرایندی به‌وسیله تیم‎های ارزشیابی مختلفی انجام می‎شود، باید ارتباطات اثربخشی بین این تیم‌ها به‌وجود آید، تا از موازی‎کاری جلوگیری شود. هنگامی‌که ارزشیابی فرایندی و ارزشیابی پیامدی به‌وسیله افراد یکسان (در یک تیم واحد) انجام می‎شود، باید تشریح گردد که این امر چگونه بر تحلیل نتایج ارزشیابی آموزشی اثرگذار است (Audrey et al., 2006).

منابع و تعیین تیم مورد نیاز: ارزشیابی فرایندی شامل تصمیمات پیچیده در زمینه‎ سؤالات پژوهشی، دیدگاه‎های نظری و روش‎های پژوهش است. بنابراین، افراد باتجربه و متخصص در عرصه آموزش‌های علمی‌ـ‌کاربردی باید زمان کافی را صرف نظریه‌های روان‌شناختی و جامعه‏شناختی (که مبنا و اساس مداخله‎گری آموزشی در یادگیری نظری و به‌ویژه عملی مورد نظر هستند) و روش‎های کیفی مورد نیاز کنند (Moore et al., 2015).

مشارکت عمومی: باور بر این است که باید به مداخله و درگیری عموم فراگیران و ذی‌نفعان آموزش‌های علمی‌ـ‌کاربردی در برنامه‎ ارزشیابی توجه شود. زیرا این مورد می‎تواند کیفیت و کاربرد برنامه‏های مداخله‎گری آموزشی علمی‌ـ‌کاربردی را بالا ببرد. برای مثال، وارد کردن نمایندگان مردمی (که شاید خیلی هم با مباحث فنی ارزشیابی فرایندی خاص برنامه‌های آموزشی، آشنایی نداشته باشند)، می‎تواند به افزیش کیفیت و کاربرد نتایج ارزشیابی کمک کند (Bess et al., 2004).

طراحی و اجرای ارزشیابی فرایندی متناسب با آموزش‌های علمی‌ـ‌کاربردی

توجه به ملاحظات زیر در این مرحله از ارزشیابی فرایندی در آموزش‌های علمی‌ـ‌کاربردی می‎تواند بسیار سودمند باشد:

ـ تعریف مداخله‎گری و مشخص کردن مفروضات اصلی: به‌طور‌کلی در آغاز ارزشیابی فرایندی، مداخله‎گری مورد‌نظر تعریف و تشریح می‎شود. زمانی‌که مجموعه‎ای از فعالیت‎ها برای انجام شدن در زمینه و جامعه‏ مورد‌مطالعه (که برنامه آموزشی علمی‌ـ‌کاربردی برای آنها طراحی و اجرا گردیده است) مشخص می‌شود، ارزشیابان ممکن است به بررسی میزان دست‌یابی به اهداف آموزش و یادگیری در مقایسه با قبل از اجرای برنامه آموزشی بپردازند. از‌طرف دیگر، مداخله‎گری ممکن است، به صورت مجموعه‎ای از ساختارها و فرایندهایی تعریف شود که هدف آن بهبود وضعیت آموزش و یادگیری با به‌کارگیری تغییرات تسهیل‎گرایانه است. در‌چنین مواردی، ارزشیابان فرایندی ممکن است، علاقه‌مند به بررسی میزان وفاداری و تعهد در استفاده از این ساختارها، برای تسهیل تغییرات باشند (Pawson & Tilley, 1997; Moore et al., 2015).

     تعریف روشن مفروضات علّی مداخله‏گری به آماده‌سازی برای اجرای برنامه آموزشی علمی‌ـ‌کاربردی، چگونگی به‌کارگیری منابع، چگونگی کار مداخله‎گری و پیامدهای کوتاه‎مدت و بلندمدت کمک می‌کند (Moore et al., 2015). هر‌چند که ارزشیابان فرایندی ممکن است، شیوه‎های گزینشی گوناگونی برای تعریف و تشریح مفروضات علّی مداخله‎گری داشته باشند، ولی توسعه‎ مدلی منطقی در‌این‌زمینه بسیار مفید است (Kellogg, 2004). مدل منطقی در‌واقع نمایش طرح‌واره‌ای از روابط میان منابع، فعالیت‏ها و پیامدهای مورد‌انتظار مداخله‏گری آموزشی است (Kellogg, 2004; Renger & Titcomb, 2002; Kirby, 2004). اگر مداخله‎گری و ارزشیابی فرایندی آن بر‌پایه یک یا چند نظریه جامعه‏شناختی یا روان‏شناختی باشد، بنابراین با به‌کارگیری مدلی منطقی، می‎توان یافته‎های مداخله‎گری/ ارزشیابی را در توسعه‎ نظریه‎ مورد نظر به‌کار برد (Pawson & Tilley, 1997; Moore et al., 2015). با‌این‌حال، توصیه می‏شود که ارزشیاب‌های فرایندی، نظریه/ نظریات پیشین را بدون توجه به چگونگی کاربرد آنها در زمینه/ محیط آموزشی (که مداخله‎گری در آن انجام می‎گیرد) به‌کار نبرند. افزون‌بر‌این، احتمال انتخاب و تمرکز برروی نظریه‎های نامناسبِ در رشته‎ علمی خاصی نیز وجود دارد. برای مثال، برخی از ارزشیابی‎ها، به دلیل فقط به‌کارگیری‎ از ارزشیابی‎های سطح فردی و در‌نظر نگرفتن تغییرات در سطوح دیگر( مانند سازمان و جامعه) مورد انتقاد قرار گرفته‎اند (Hawe et al. 2009).

     اگر در زمینه‎ مفهوم مداخله‎گری مورد‌نظر و هدف آن شفافیت نسبی به‌دست آمده باشد، باید طراحی ارزشیابی فرایندی را با بررسی تعاریف مداخله‎گری و نظریه‎‏ای که مبنای آن بوده است، شروع کرد. این کار کمک می‌کند، تا ابعاد اجرایی، ساز‌و‌کارهای اثرگذاری و زمینه‎/ منطقه‎ هدف بهتر شناخته شود. افزون‌بر‌این، بهتر است ادبیات و پیشینۀ مربوط به ‌آن، مطالعه و اعتبار ارتباطات علّی تعیین‌شده در مدل منطقی بررسی شود. این کار به درک شیوه‎ ارتباط میان شواهد و ارتباطات علّی موجود در مدل منطقی و نیز شناسایی مشکلات بالقوه موجود در مسیر ارزشیابی کمک می‌کند (Moore et al., 2015).

ـ یادگیری از ارزشیابی‎های فرایندی پیشین؛ دانش کنونی ما چه اندازه است و این مطالعه چه چیزی به دانش و مهارت قبلی ما اضافه خواهد کرد؟ مانند هر پژوهش دیگری، مطالعه‎ ادبیات، اولین گام در ارزشیابی فرایندی است. این عمل به شناسایی شاخصه‎های سوژه‎ها و چگونگی توسعه‎ و افزایش شناخت در مورد آنها کمک می‎کند (Montgomery et al., 2013). افزون‌بر‌این، مطالعه‎ ادبیات پژوهشی موجود، ممکن است، نشان دهد که تفاوت در پیامدهای مداخله‎گری‎های مشابه از تفاوت‎های ظریف آنها در اجرا و زمینه‎/ محیط آموزشی که پژوهش در آن انجام شده، ناشی می‎شود. با‌این‌وجود، اگر هر مطالعه، سؤال‎های فرایندی گوناگونی را دنبال کند و یا اینکه روش‎های غیرقابل مقایسه‎ای را برای موضوعی یکسان به‌کار ببرد، در این‌صورت توانایی مقایسه و تعمیم ‌یافته‌ها باید کمی با احتیاط انجام شود. نکته‎ مهم و مورد توجه دیگر در این مرحله این است که؛ نقطه‎ آغاز خوب، در طراحی ارزشیابی فرایندی «شناسایی فرایند ارزشیابی‎ مداخله‎گری‎هایی است که از عناصری مشابه‌ای با برنامه‎ مورد ارزشیابی کنونی برخوردار بوده‎اند» (Moore et al., 2015).

ـ اهداف اصلی و سؤال‎های پژوهش: بهتر است که مهم‌ترین سؤال‌های پژوهشی، که فرایند ارزشیابی آموزشی علمی‌ـ‌کاربردی به دنبال پاسخگویی به آنها است، مشخص شده باشد و تلاش‎ها برای پاسخ‌گویی به این پرسش‎ها متمرکز است. بلندپروازی بیش‌از‌حد ممکن است، سبب اتلاف وقت و منابع شود. شناسایی مهم‌ترین سؤال‌های پژوهشی در ارزشیابی فرایندی مستلزم شناسایی دقیق همه عدم ‌‎قطعیت‎هایی است که برنامه مداخله‎گری در حین طراحی و اجرا ممکن است با آن روبه‌رو شود. ارزشیابان ممکن است کار خود را با فهرست‌بندی مفروضات در زمینه‎ چگونگی انجام مداخله‎گری و هدف آن آغاز کنند. ارزشیابان ممکن است این کار را با به‌کارگیری «ارتباط با سیاست‎گذاران و عوامل اجرایی» و پیش از بررسی شواهد عینی در زمینه‎ مفروضات و دست‌یابی به توافق با تیم ارزشیابی برنامه‌ آموزشی انجام دهند. هرچند که شناسایی‎ نظام‎مند سؤال‌های اصلی در تمرکز‌بخشی به فعالیت‎های برنامه‎ ارزشیابی بسیار مفید است، ولی همیشه لازم است که ظرفیت پژوهشی خالی برای سؤال‌ها و وقایع پیش‎بینی‌نشده در فرایند ارزشیابی آموزشی در نظر گرفت (Moore et al., 2015).

- انتخاب روش‎های مناسب: در ارزشیابی فرایندی روش‎های پژوهشی گوناگونی برای پاسخ‌گویی به سؤال‌ها به‌کار برده می‌شود. اما برای انتخاب بهترین روش‌ها، باید نقاط قوت و ضعف هر‌کدام از این روش‎ها ارزیابی شود (Bess et al., 2004). برخی از مهم‌ترین روش‎های به‌کا‌رفته برای ارزشیابی فرایندی به شرح زیر است:

- مشاهده‏ شرکت‎کنندگان در برنامه‌های آموزشی علمی-‌کاربردی: طیفی از نقش‎ها وجود دارد که ارزشیابان می‎توانند، در حین اجرای برنامه‏ ارزشیابی آنها را به‌کار گیرند. این طیف از «یکی شدن/ همرنگ شدن کامل ارزشیاب با مخاطبان ارزشیابی (ارزشیاب به‌منزله شرکت‎کننده)» تا « زیرنظر گرفتن مشارکت‎کنندگان به صورت نامرئی و غیرمحسوس (ارزشیاب به‌منزله مشاهده‎گر صرف)» متغیر است. اما تجربه نشان داده است که ظاهر‌شدن ارزشیاب در نقش «مشاهده‎گر به‌منزله مشارکت‎کننده» معمولاً نتایج واقع‎بینانه‎تری را به دنبال دارد (Gold, 1969). در این حالت، مسئولیت‎ها و وظایف ارزشیاب برای تیم برنامه آموزشی و اعضای جامعه‎ مورد‌مطالعه در محیط آموزشی کاملاً مشخص است. هیچ تلاشی در‌راستای پنهان کردن نقش ارزشیاب انجام نمی‎شود. اعتبار و صداقت از اهمیت زیادی برخوردار است (Patton, 1987).

     ارزشیابان در جلسات برنامه‎ریزی تیم برنامه آموزشی و نهادهای دخیل در آن، حاضر می‎شوند. آنها ناظر و شنونده‎ جلسات گروه‎های کانونی با آموزشگران و فراگیران و ذی‌نفعان برنامه آموزشی هستند و در گردهمایی‎ها، دورهمی‎ها، تفریح‏ها و سایر برنامه‌های مرتبط با برنامه آموزشی مورد‌مطالعه، شرکت می‎کنند. سپس در جلسات ملی و منطقه‎ای که برای گزارش‌دهی از پیشرفت کار به پشتیبانان برنامه ارزشیابی انجام می‎شود، شرکت می‎کنند. زمانی‌که نقش ارزشیابان، جزئی از دلایل مشارکت آنها است، آنها می‎توانند برای انجام مسئولیت‎های خود از پیمایش، موضوع ‎ راهبردهای گردآوری داده‎ها و گزارش نتایج را به‌کار گیرند. با وجود این، صرف‎نظر از وظایف تعیین‎شده، ارزشیابان باید در زمینه‎ محتوای هر رخداد تأمل و تلاش کنند تا عناصر آن را به حیطه‎های موضوعی و توصیفی تقسیم‎بندی کنند. هرچند که مشاهده‎ مشارکت‎کنندگان به‌منزله منبع اولیه‎ شناسایی موضوعات و وقایع و در‌نتیجه کسب درکی عمیق درباره‏ زمینه‎ فرایند ارزشیابی است، ولی منابع دست دوم مانند تحلیل محتوا نیز به همان اندازه می‎تواند، برای ارزشیابان روشنی‌بخش باشد (Bess et al., 2004).

ـ تحلیل محتوا: تحلیل محتوا اشاره به مرور نظام‎مند متون نوشتاری دارد که تیم برنامه‏ریزی، برنامه‏ ارزشیابی، مددکاران اجتماعی و اعضای جامعه‎ هدف آن را تولید کرده‌اند. این متون می‎تواند؛ برنامه‎های زمانی، فهرست منابع، جدول بودجه‎ها، نامه‎های رد‌و‌بدل شده با سازمان‎ها و نهادهای همکار، زمان جلسات، پیشنهادهای عرضه شده برای حمایت‎ مالی و هر سند دیگری که ویژگی‎ها یا اطلاعاتی در زمینه‎ برنامه‎ی آموزشی مورد ارزشیابی در آن وجود دارد، باشد. در این روش، ارزشیاب به‌مثابه ابزار ارزیابی محتوای مواد چاپی و نوشتاری عمل می‎کند. او کدهای ایده‎ها، کلمات و عباراتی که عناصرِ برجسته و مهمی از برنامه‎ آموزشی مورد ارزشیابی را منعکس می‎کنند، یادداشت می‎کند. چون ارزشیابی فرایندی دیدگاه طولی به تحقیق خود دارد، لازم است که توالی زمانی وقایع بیان و واحد تحلیل در آن مشخص شود (Patton, 1987; Bess et al., 2004).

- تحلیل موقعیتی: تحلیل موقعیتی که عموماً به تحلیل سوآت نیز معروف است، شکل خلاصه‌شده‎ حروف قوت‏ها، ضعف‎ها، فرصت‏ها و تهدید‎ها است (Barry, 1997). معمولاً در ارزشیابی فرایندی برنامه آموزشی با به‌کارگیری تحلیل سوآت، سؤالات زیر پرسیده می‎شود (Bess et al., 2004):

1- نقاط قوت و ضعف درونی و بیرونی برنامه‏ آموزشی علمی‌ـ‌کاربردی اجرا شده، چیست؟

2- چه فرصت‎هایی در برنامه‎ی آموزشی علمی‌ـ‌کاربردی اجرا شده و محیط‎ پیرامونی که برنامه آموزشی در آن اجرا شده، وجود دارد؟

3- چه تهدیدهای درونی و بیرونی وجود دارد، که می‎توانند تأثیری منفی بر برنامه آموزشی علمی‌ـ‌کاربردی بگذارند؟

     ارزیابی‎های مبتنی‌بر سوآت هم بر پویایی‎های درونی و هم بر پویایی‎های بیرونی متمرکز است. بنابراین، هم به مسائل و نگرانی‎های مرتبط با خود برنامه‎ی آموزشی مورد ارزشیابی توجه دارند و هم مسائل و مشکلات موجود در جامعه و محیطی که برنامه در آن انجام شده است را در نظر می‎گیرند. به‌طور‌کلی، این عوامل نمایی کلی و تقریباً جامع از مسائل و نگرانی‎هایی که برنامه‎ آموزشی مورد ارزشیابی ممکن است در هر مقطعی از زمان با آن‎‏ها مواجه شود را نشان می‎دهد. با به‌کارگیری این رویکرد، مشاهده‏ تغییرات به صورت طولی امکان‌پذیر است.

ـ پیمایش در منزل: اگرچه که ارزشیابی فرایندی بیشتر با کاربرد روش‎های کیفی معروف شده است، ولی مواقعی نیز وجود دارد که می‎توان روش‎های کمی را برای کسب شناخت در زمینه‎ برنامه‎ی آموزشی مورد‌ارزشیابی به‌کار برد. برای مثال، تغییرات تحلیل‎های موقعیتی می‎تواند، با به‌کارگیری روش پیمایش در منزل صورت گیرد؛ که در آن از تیم برنامه آموزشی و اعضای جامعه‏ مورد مطالعه خواسته می‎شود، تا میزان آگاهی و رضایت خود از برنامه آموزشی را در پروسه‌های زمانی گوناگون بیان کنند. برای ‌این هدف می‎توان طیف لیکرت را به کار برد که با آن پاسخ‌گویان، متغیرهایی مانند مشارکت پشتیبانان، آگاهی اجتماعی، پشتیبانی مدیریتی، فضای زمانی اجرای برنامه، کافی بودن منابع اختصاص داده‌شده برای اجرای برنامه آموزشی و مواردی از این قبیل را نمره‎دهی می‎کنند. این رویکرد می‎تواند به جای تمرکز بر دورن‏ها یا پیشنهادهای تیم هسته‎ای برنامه آموزشی، ایده‎ها و تفکرات طیف گسترده‎تری (از جمله افراد جامعه‏ هدف برنامه) را در فرایند برنامه‏ریزی دخیل کند. افزون‌بر‌این، چنین پیمایش‎هایی تاحدودی سبب ناشناس ماندن پاسخگویان می‎شود و به‌این‌واسطه، این امکان را فراهم می‎کند تا به دیدگاه‌های آن دسته از افرادی که ساکت هستند یا دوست ندارند دیدگاه خود را فریاد بزنند، در برنامه ارزشیابی توجه شود. میانگین پاسخ‎ها برای قضاوت درباره اینکه، برنامه در چه ابعاد و زمینه‎هایی ضعیف یا قوی بوده، به‌کار می‌رود (Bess et al., 2004).

- مصاحبه: برای فهم بهتر برنامه مورد ارزشیابی، ارزشیابان می‎توانند، شکل‌های گوناگونی از مصاحبه‎ها را به‌کار گیرند. پاتون (Patton, 1987) سه نوع مصاحبه‎ کیفی بازپاسخ را معرفی می‎کند که عبارت‌اند‌از: 1- «مصاحبه‎های مکالمه‎ای غیررسمی»، 2- «مصاحبه‎های کلی با به‌کارگیری رویکرد هدایت‎شده» و 3- «مصاحبه‎های بازپاسخ استاندارد». به نظر می‎رسد که رویکرد اول یا مصاحبه‎های مکالمه‎ای غیررسمی برای روش ارزشیابی فرایندی مناسب‎تر است. راین و بِیبی (Rubin & Babbie, 2001) مصاحبه‎های مکالمه‎ای غیررسمی را به‌صورت «تعامل برنامه‏ریزی‎نشده و پیش‎بینی‎نشده میان مصاحبه‎گر که عموماً در طول مشاهدات میدانی اتفاق می‎افتد» تعریف می‎کنند. این تعریف نشان می‎دهد که در ارزشیابی فرایندی با به‌کارگیری مصاحبه‎ مکالمه‎ای غیررسمی، اتفاقی بودن اهمیت زیادی دارد. تمرکز ارزشیاب بر افزایش درک و فهم خود از رخدادهایی اتفاق‎افتاده در زمان واقعی خود است. در پایان جلسات برنامه‏ریزی و بودجه‎بندی برنامه و یا بعد از رخدادی ویژه مانند دورهمی و تفریح بیرون از خانه‎ اعضای جامعه مورد‌مطالعه، ارزشیاب می‎تواند از تیم برنامه آموزشی و یا دیگر شرکت‎کنندگان بپرسد، آیا انتظارات آنها برآورده شده است یا نه؟ و اگر برآورده شده است، چگونه این اتفاق افتاده است. ارزشیاب می‎تواند در زمینه‎ معنا و مفهوم رخداد از افراد (به عنوان برنامه‏ریز و عضو جامعه) سؤال کند (Bess et al., 2004).

- نمونه‎گیری در ارزشیابی فرایندی: نمونه‎گیری یکی از موارد برجسته در انجام پژوهش‎های ارزشیابی فرایندی به‌صورت کمّی و کیفی است. به‌کار‌گیری و مشارکت همه‎ ذی‎‎نفعان برنامه‌ای آموزشی، بیشتر اوقات نه لازم و نه شدنی است. در‌عین‌حال باید به این نکته نیز توجه کرد که تمرکز بر روی شمار اندکی مطالعه‎ موردی، برای نتیجه‎گیری در زمینه‎ برنامه به صورت کلی نیز می‎تواند گمراه‎کننده باشد (Munro & Bloor, 2010). افزون بر این، شاید بهترین روش، به‌کارگیری توأمان از روش‎های نمونه‎گیری تصادفی و هدفمند باشد. البته توجه به این نکته نیز لازم است که شقوق هر یک از این روش‎های نمونه‎گیری، باید با هدف و شرایط به‌کارگیری‎ آنها سازگاری و همخوانی داشته باشد (Patton, 1987).

- زمان‎بندی گردآوری اطلاعات/ داده‎ها: یکی دیگر از مسائل مهم در طراحی و اجرای هر ارزشیابی فرایندی در ارزشیابی از برنامه‌های آموزشی و یادگیری، زمان‎بندی گردآوری اطلاعات است. در مداخله‎گری مورد‌نظر، گروه هدف، برنامه‎ مداخله‎گری و زمینه‎ای که همه‎ این موارد در آن قرار دارند، هویت مستقلی ندارند. در مقابل این موارد ماهیتی پویا و تغییرپذیر در‌هنگام ارزشیابی دارند. افزون بر این، باید به جوهره و اساس داده‎ها در زمان گردآوری آنها به طور جدی توجه شود. ملاحظات کلیدی که در این مرحله از ارزشیابی باید به آن توجه شود، بر‌این پایه‌اند (Munro & Bloor, 2010):

- چگونه ادراکات و فعالیت‎های مجریان برنامه در طول زمان تغییر خواهد کرد؟ به‌ویژه زمانی‌که آنها می‎خواهند از گروه هدف خود در زمینه‎ مفید بودن یا نبودن فعالیت‎ها، بازخورد بگیرند؟

- آیا سازمان مجری برنامه آموزشی علمی‌-‌کاربردی به منظور تکمیل برنامه‎ مداخله‎گری در طول زمان دچار تغییر خواهد شد؟

- آیا منابع کافی به منظور گردآوری اطلاعات در بازه‎های زمانی گوناگون (در راستای مشاهده‎ تغییرات در طول زمان) وجود دارد؟

- آیا فرایند گردآوری اطلاعات در بازه‎های زمانی گوناگون می‎تواند بدون اعمال فشار بر پاسخگویان یا تغییر شیوه‎ مداخله‎گری انجام گیرد؟

تحلیل

مهم‌ترین ملاحظاتی که در این مرحله از ارزشیابی فرایندی آموزش‌های علمی‌ـ‌کاربردی باید در نظر گرفت، «ترکیب روش‎ها در تحلیل»، «تحلیل داده‌های کمّی» و «تحلیل داده‎های کیفی» است که هر یک به‌صورت جداگانه در زیر توصیف می‎شوند (Patton: 1987):

ترکیب روش‎ها در تحلیل: هر چند که داده‎های کمی و کیفی هر یک به مهارت‎های گوناگونی نیاز دارند و سؤال‎های پژوهشی گوناگونی را دنبال می‎کنند، ولی هر دوی این داده‎ها باید با یکدیگر ترکیب شده و با هم تحلیل شوند. داده‎های کمّی ممکن است مسائل و مشکلاتی را شناسایی کند که برای حل آنها باید داده‎های کیفی را به‌کار برد. در‌این راستا داده‎های کیفی ممکن است به نظریه یا الگویی پارادایمی ختم شوند و نیاز باشد که از روش‎های کمی برای اعتبارسنجی آنها استفاده کرد. عناصر کمّی و کیفی به‌دست آمده، باید یافته‎های یکدیگر را قوام بخشند. روش‎ها نیز باید به گونه‎ای با هم ترکیب شوند که به انباشت تدریجی دانش در زمینه‎ چگونگی انجام و موفقیت مداخله‎گری در آموزش و یادگیری کمک کنند (Coffey & Atkinson, 1996).

تحلیل داده‎های کمّی: تحلیل کمی معمولاً با عرضه‎ اطلاعات توصیفی کلی از شرایط و وضعیت جامعه هدف مداخله‎گری آموزشی علمی‌ـ‌کاربردی آغاز می‎شود. ارزشیابان فرایندی ممکن است، مدل‌سازی‎های دقیق‎تری نیز برای بررسی تغییرات در عوامل مختلف مداخله‎گری به کار ببرند. چنین تحلیلی ممکن است برای پاسخگویی به سؤال‌هایی مانند چگونگی گسترش نابرابری‎ها در هر مرحله انجام شود. وارد ساختن داده‎های کمّی به مدل‌سازی پیامدها ممکن است در شناسایی روابط میان پیامدها، فرایندهای واسطه‎ای و عوامل زمینه‎ای دخیل در فرایند مداخله‎گری آموزش و یادگیری مفید باشند (Moore et al., 2015).

تحلیل داده‎های کیفی: تحلیل‎های کیفی می‎تواند فهم عمیقی از ساز‌و‌کارهای عملی، چگونگی تأثیرگذاری زمینه‏ ارزشیابی بر اجرای آن و چگونگی مشارکت یا عدم مشارکت مخاطبان یا مجریان مداخله‎گری‌های برنامه‌های آموزشی و درسی علمی‌-‌کاربردی عرضه دهد. انعطاف‎پذیری و عمق روش‎های کیفی به معنی آن است که این روش‎ها می‎توانند برای بررسی ساز‌و‌کارها و پیامدهای پیچیده و پیش‎بینی‎نشده به کار روند. زمان مورد نیاز برای تحلیل کیفی نباید کم باشد. به‌طور کلی، گردآوری و تحلیل داده‎های کیفی باید به صورت همزمان باشد. این امر امکان بررسی تم‎ها (موضوعات) به‌دست‌آمده از مراحل اولیه‎ پژوهش، در مراحل بعدی گرداوری داده‎ها را امکان‌پذیر می‎کند (Patton, 1987).

گزارش یافته‎های ارزشیابی فرایندی برنامه‌های آموزشی علمی-‌کاربردی

شیوه‎ گزارش ارزشیابی فرایندی برنامه‌های آموزشی علمی‌-‌کاربردی معمولاً کاری چالش‎برانگیز است. اما در این مرحله توجه به نکات زیر می‎تواند بسیار سودمند باشد:

چه چیزی باید گزارش شود؟ بهترین روش برای گزارش ارزشیابی فرایندی وجود ندارد. نکته‎ مهم در این مرحله گزارش، روابط میان عناصر کمّی و کیفی و روابط میان ارزشیابی فرایندی با سایر ارزشیابی‎ها است. در این مرحله مفروضاتی در زمینه‎ چگونگی گزارش اثرگذاری مداخله‎گری آموزشی بر اهداف مورد نظر، از سوی طراحان برنامه‎ مداخله‎گری عرضه می‎شود. ولی الگوهای منطقی می‎تواند در این زمینه بسیار سودمند باشند. ارزشیابان فرایندی باید چگونگی کاربرد این نظریه‎ها (که در مدل منطق
موجود است) برای دست‌یابی به اهداف را شرح دهند (Lang & Secic, 2006; Jackson, 2010).

گزارش‌دهی برای طیف گسترده‎تری از مخاطبان برنامه آموزشی: ارزشیابی فرایندی معمولاً به دنبال آگاهی‌بخشی به سیاست‎گذاران و عوامل اجرایی مداخله‎گری برنامه‌های آموزشی علمی-‌کاربردی است. باوجوداین، گزارش یافته‎ها به باید به‌گونه‎ای ساده باشد، به‌طوری‌که در آینده ذی‎نفعان گوناگون برنامه آمورزشی علمی-‌کاربردی، بتوانند در همه‎ سطوح آن را به کار برند. ارزشیابان همچنین ممکن است به دنبال انتقال نتایج خود به مخاطبان بیشتر در نقاط گوناگون (غیراز منطقه‎ مورد ‌مطالعه) باشند؛ تا شاید نتایج
مداخله‎گری‏ آنها تأثیری مثبت بر نتایج و کارهای مخاطبان بگذارد. افزون‌بر این‌موارد، ارزشیابان می‎توانند نتایج ارزشیابی خود را در سمینارها و کنفرانس‎های گوناگون عرضه کنند تا جوامع و افراد غیردانشگاهی نیز از آنها سود ببرند (Moore et al., 2015).

انتشار در مجله‌ای علمی: ارزشیابان فرایندی معمولاً تمایل دارند که چندین مقاله را در مجلات علمی‌ـ‌پژوهشی معتبر عرضه کنند. این مقالات ممکن است، ابعاد گوناگونی از ارزشیابی فرایندی را منعکس کنند و باید به‌منزله بخش‎های جداگانه از گزارش ارزشیابی، قابلیت ‌فهم و پختگی لازم را داشته باشد. با‌وجود‌این، در همه‎ این مقالات باید به مقالات دیگر مستخرج از گزارش اصلی و حتی به خود گزراش اصلی استناد شود. نتایج ارزشیابی فرایندی، ممکن است در مجله‌ای منتشر نشود که این مورد نیز امری رایج در ارزشیابی‎های فرایندی است (Moore et al., 2015). ولی پژوهش‌گر ارزشیاب باید همه تلاش خود را برای چاپ نتایج ارزشیابی انجام دهد. برای افزایش شانس چاپ، ارزشیابان باید تمرکز بسیار زیادی بر روی تفسیر نتایج، نظریه‎ مداخله‎گری آموزشی به‌کار برده شده در ارزشیابی، ملاحظات روش‎شناختی، نوآوری و آنچه که ارزشیابی به پیکره‎ دانش در عرصه آموزش و یادگیری موجود اضافه می‎کند، داشته باشند (Bryman, 2006).

کتاب‌شناسی

بینقی، ت. و سعیدی‌رضوانی، م. (1380). ارزیابی اثربخشی برنامه‌های آموزشی علمی-کاربردی در پاسخ به نیاز کارفرمایان. مؤسسه پژوهش و برنامه‌ریزی آموزش عالی، تهران.

Audrey, S., Holliday, J., Parry-Langdon, N., & Campbell, R. (2006). Meeting the challenges of implementing process evaluation within randomized controlled trials: the example of ASSIST (A Stop Smoking in Schools Trial). Health education research, 21(3), 366-377.

Barry, B. W. (1997). Strategic planning workbook for nonprofit organizations. Amherst H. Wilder Foundation. Bess, G., King, M., & LeMaster, P. L. (2004). Process evaluation: how it works. American Indian and Alaska Native Mental Health Research The Journal of the National Center, 11(2), 109-120.

Bryman, A. (2006). Integrating quantitative and qualitative research: how is it done?. Qualitative research, 6(1), 97-113.

Coffey, A., & Atkinson, P. (1996). Making sense of qualitative data: Complementary research strategies. Sage Publications, Inc.

Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I. and Petticrew, M. (2008a). Developing and evaluating complex interventions: new guidance. Medical Research Council (MRC), Available at: https:// mrc. ukri. org/ documents/pdf/complex-interventions-guidance/

Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I., & Petticrew, M. (2008b). Developing and evaluating complex interventions: the new Medical Research Council guidance. British Medical Journal (Bmj), 337.

Gold, R. (1969). Roles in sociological field observation. Issues in Participant Observation, edited by GJ McCall. and JL Simmons. Reading, MA: Addison-Wesley.

Hawe, P., Shiell, A. & Riley, T. (2009). Theorising Interventions as Events in Systems. American Journal of Community Psychology, 43, (3-4), 267-276.Jackson, D. L. (2010). Reporting results of latent growth modeling and multilevel modeling analyses: Some recommendations for rehabilitation psychology. Rehabilitation Psychology, 55 (3). 272.

Kellogg, W. K. (2004). Logic model development guide. Michigan: WK Kellogg Foundation.Kirby, D. (2004). BDI logic models: A useful tool for designing, strengthening and evaluating programs to reduce adolescent sexual risk-taking, pregnancy, HIV, and other STDs HIV and other STDs.Lang, T. A., Lang, T., & Secic, M. (2006). How to report statistics in medicine: annotated guidelines for authors, editors, and reviewers. ACP Press.

Montgomery, P., Underhill, K., Gardner, F., Operario, D. and Mayo-Wilson, E. (2013). The Oxford Implementation Index: a new tool for incorporating implementation data into systematic reviews and meta-analyses. Journal of Clinical Epidemiology, 66( 8) 874-882.

Moore, G. F., Audrey, S., Barker, M., Bond, L., Bonell, C., Hardeman, W., & Baird, J. (2015). Process evaluation of complex interventions: Medical Research Council guidance. British Medical Journal, 350, h1258.

Munro, A., & Bloor, M. (2010). Process evaluation: the new miracle ingredient in public health research?. Qualitative Research, 10( 6), 699-713.

Patton, M. Q. (1987). How to use qualitative methods in evaluation (No. 4). , London: Sage.

Pawson, R., Tilley, N., & Tilley, N. (1997). Realistic evaluation, London: Sage.

Renger, R,& Titcomb, A. (2002). A three-step approach to teaching logic models. American Journal of Evaluation, 23( 4), 493-503.

Rubin, A., & Babbie, E. (2001). Research methods for social work, 4th edition. Belmont, CA: Wadworth/Thomas Learning.