Giám sát và đánh giá là các công cụ quản lý quan trọng nhằm giúp các đơn vị thực hiện dự án đưa ra những thông tin quý giá từ các hoạt động đang diễn ra hiện tại và trong quá khứ. Những thông tin này sẽ phục vụ cho việc điều chỉnh, định hướng và lập kế hoạch cho các hoạt động của dự án sau đó. Mục đích chung của công tác giám sát và đánh giá là đo lường và đánh giá kết quả thực hiện dự án, xác định những vấn đề tồn tại, đưa ra những giải pháp… để từ đó có thể quản lý một cách hiệu quả hơn những đầu ra, kết quả của dự án.
Khái niệm giám sát và đánh giá (M&E)
Giám sát là một họat động được thực hiện một cách liên tục nhằm thu thập và phân tích các thông tin, từ đó giúp cho nhà quản lý biết chắc các hoạt động của dự án có được thực hiện đúng tiến độ, kết quả theo kế hoạch đề ra không? và kịp thời có các biện pháp can thiệp cần thiết để khắc phục những khó khăn, vướng mắc nếu có. Quá trình giám sát còn giúp các tổ chức kịp thời hỗ trợ việc ra quyết định tạo nền tảng cho việc đánh giá và bài học kinh nghiệm.
Đánh giá là quá trình xem xét một cách có hệ thống và khách quan một dự án, chương trình, một chính sách đang được thực hiện hoặc đã hoàn thành một giai đoạn hoặc toàn bộ Chương trình/Dự án. Đánh giá là giúp xác định tính phù hợp và mức độ hoàn thành các mục tiêu, tính hiệu quả, tác động và tính bền vững. Quá trình đánh giá cần cung cấp thông tin đáng tin cậy và hữu ích, cho phép lồng ghép những bài học kinh nghiệm vào quá trình ra quyết định của các nhà tài trợ và của đối tượng tiếp nhận tài trợ.
Công tác đánh giá được thực hiện tương ứng với từng giai đoạn của dự án/chương trình. Cụ thể, từ khi một dự án được thiết kế/lập kế hoạch thực hiện cho đến khi nó kết thúc, thường có những loại hình đánh giá sau đây:
Đánh giá ban đầu (ante evaluation) – hay còn được một số nhà tài trợ gọi là "thẩm định" (appraisal), thường do chính các nhà tài trợ thực hiện, với nội dung chủ yếu là đánh giá tính cần thiết và mức độ phù hợp của dự án sắp được tiến hành.
Đánh giá giữa kỳ (mid-term evaluation) – thường do một nhóm tư vấn độc lập (độc lập với chính phủ nước sở tại và với nhà tài trợ) phối hợp với cơ quan quản lý dự án tiến hành, nhằm xem xét tính phù hợp, hiệu quả và hiệu suất của dự án đang thực hiện.
Đánh giá cuối kỳ (terminal evaluation) – thường do tư vấn độc lập phối hợp với cơ quan quản lý dự án thực hiện khi một dự án vừa kết thúc, nhằm xem xét hiệu quả và tính bền vững của dự án.
Đánh giá tác động (ex-post evaluation) – do tư vấn độc lập thực hiện sau khi dự án kết thúc khoảng 2 đến 5 năm, nhằm xem xét tác động và tính bền vững của dự án đã hoàn thành.
Các tiêu chí để đánh giá Chương trình/Dự án
Hiệu suất:
Tiêu chí này đo lường quan hệ giữa đầu vào (cả định tính và định lượng) và đầu ra của dự án. Nói cách khác, cán bộ đánh giá sẽ xem xét một dự án có sử dụng nguồn lực một cách tiết kiệm nhất để đạt được kết quả đề ra hay không. Đánh giá hiệu suất là để trả lời những câu hỏi sau:
·Các hoạt động đã tiến hành có hiệu quả về chi phí không?
·Kết quả và mục tiêu/mục đích của dự án có được thực hiện đúng thời điểm đã đặt ra hay không?
·Liệu cách thức triển khai đã thực hiện đã là cách thức tiết kiệm nhất hay chưa?
Hiệu quả:
Đánh giá hiệu quả của một dự án là đo lường mức độ đạt được mục đích của dự án đó. Trong ngôn ngữ phát triển, "mục đích" của một dự án là "tình hình được cải thiện trong tương lai mà dự án đó phải tìm cách đạt được". Đánh giá hiệu quả là để trả lời những câu hỏi sau:
·Dự án đã/sẽ đạt được kết quả/mục tiêu đã đề ra ở mức độ nào?
·Những yếu tố thuận lợi và khó khăn gặp phải trong quá trình triển khai là gì?
·Các yếu tố nào ảnh hưởng đến việc đạt được/không đạt được những kết quả/mục tiêu đó?
Tác động:
Đánh giá tác động của một dự án là tìm hiểu những thay đổi tích cực và tiêu cực mà dự án đó mang lại (các thay đổi đó có thể trực tiếp hoặc gián tiếp, dự tính trước hoặc không dự tính trước). Những thay đổi này có thể là về xã hội, môi trường, kinh tế, văn hoá v.v...Đánh giá tác động là để trả lời những câu hỏi sau:
·Dự án đã mang lại kết quả gì?
·Trước và sau dự án, có điều gì khác biệt ở những đối tượng hưởng lợi?
·Có bao nhiêu người bị dự án tác động?
·Kết quả nào có ảnh hưởng tích cực, tiêu cực, theo dự kiến, ngoài dự kiến.
Sự phù hợp:
Đánh giá sự phù hợp của một dự án là đo lường mức độ dự án đó phù hợp với chính sách và ưu tiên của nhà tài trợ và chính phủ nước sở tại. Đánh giá sự phù hợp là để trả lời những câu hỏi sau:
·Mức độ phù hợp của dự án đối với môi trường chính sách?
·Hoạt động và đầu ra của dự án có góp phần thực hiện mục tiêu phát triển hay không?
·Hoạt động và đầu ra của dự án có mang lại những tác động và ảnh hưởng dự kiến hay không?
·Các mục tiêu và mục đích có phù hợp với những vấn đề và nhu cầu đang được giải quyết hay không?
Một số hình về hoạt động giám sát Dự án QTC PCSR
Tính bền vững:
Đánh giá tính bền vững của một dự án hỗ trợ phát triển là tìm hiểu xem liệu lợi ích mà dự án đó mang lại có còn tồn tại sau khi dự án đã kết thúc hay không. Một dự án hỗ trợ phát triển phải bền vững cả về tài chính và môi trường. Đánh giá tính bền vững là để trả lời những câu hỏi sau:
·Lợi ích của dự án có được duy trì sau khi dự án kết thúc hay không và duy trì ở mức độ nào?
·Những yếu tố nào ảnh hưởng đến việc duy trì/không duy trì được lợi ích dự án mang lại?
Một số đặc tính của giám sát và đánh giá
Giám sát | Đánh giá |
Giám sát là tìm biết xem mọi thứ có được làm như dự định hay không? oLàm được bao nhiêu? Có đúng tiến độ không? oCó tạo nên các kết quả không? oCó đến đúng đối tượng không? oCó những rủi ro nào đã xảy ra không? | Đánh giá là tìm biết xem những nổ lực vừa qua đã đem lại những giá trị gì? Là trả lời câu hỏi: Chúng ta đã đạt được bao nhiêu? Là đi tìm một giá trị: Liệu các kết quả có bền vững không? Là rút ra bài học: Chúng ta có được kinh nghiệm gì? |
Thu thập từ các dữ liệu thường xuyên, tiến trình báo cáo. | Thu thập dữ liệu từ nhiều nguồn khác nhau bao gồm cả nghiên cứu/điều tra. |
Chức năng quản lý nội bộ ở tất cả các tuyến | Thường kết hợp với các chuyên gia đánh giá độc lập (bên ngoài). |
Liên tục | Định kỳ hoặc theo giai đoạn |
Nhằm kiểm tra tiến độ, cập nhật kế họach dựa vào một số chỉ số đã được xác định trước và tiến hành biện pháp cải thiện/khắc phục nếu thấy cần thiết. | Nhằm giải quyết các vấn đề thuộc nhiều phạm vi khác nhau hoặc rút ra những bài học kinh nghiệm có thể ứng dụng cho các chương trình/dự án khác, xem xét lại chính sách. |
Sử dụng phương pháp định lượng. | Sử dụng phương pháp định tính và định lượng. |
Tập trung vào đầu vào, các hoạt động. | Tập trung vào kết quả, mục đích, mục tiêu tổng thể. |
Chỉ số giám sát và đánh giá
Khái niệm
Chỉ số là công cụ xác định những gì chúng ta cần để đo lường giúp cho giám sát/ đánh giá việc thực hiện các hoạt động dự án, mức độ đạt được kết quả/đầu ra của dự án theo mục đích và mục tiêu tổng thể. Nói cách khác chỉ số là những dấu hiệu báo cho biết các kết quả có đạt được hay không và ở mức độ nào. Chỉ số “có thể kiểm tra được một cách khách quan” với các tiêu chí sau:
Thích đáng: Chỉ số phải liên quan đến mục tiêu Dự án.
Dễ hiểu: Một chỉ số tốt là một chỉ số mà mọi người có thể hiểu được một cách dễ dàng.
Cụ thể: Bao gồm các chỉ tiêu rõ ràng
Đo lường:Có thể đo lường được về mặt chất lượng và /hoặc số lượng
Sẵn có:Mức chi phí có thể chấp nhận được
Thích hợp: Cần thiết để quản lý thông tin
Thời gian: Kịp thời, đúng hạn rất hữu ích cho việc quản lý dự án
Các loại chỉ số
ĐẦU VÀO (Input) Các nguồn lực tài chính, nhân sự và vật liệu, trang thiết bị sử dụng trong các dự án/hoạt động nhằm đạt được đầu ra. |
QUÁ TRÌNH (Process) Những hoạt động hoặc công việc được triển khai theo thời gian đã xác định. Các hoạt động này bao gồm: Cung cấp nhân lực, đào tạo, giám sát nhằm đạt được Kết quả và Tác động của Chương trình/ Dự án như mong đợi. |
ĐẦU RA (Output) Các sản phẩm, thiết bị và dịch vụ do dự án phát triển cung cấp, mang lại nhằm đạt được Kết quả. Các sản phẩm hoặc dịch vụ này giúp cho các nhóm dân nguy cơ nâng cao kiến thức, thái độ phòng chống bệnh tật, bảo vệ hoặc tạo điều kiện cho họ có cơ hội sử dụng để bảo vệ bệnh tật. |
KẾT QUẢ (Result) Là những ảnh hưởng hoặc thay đổi ngắn hạn hoặc trung hạn đạt được như mong muốn về chất lượng và độ bao phủ các biện pháp can thiệp của Chương trình/Dự án. Các thay đổi này mang lại lợi ích cho các nhóm dân nguy cơ giúp họ thay đổi hành vi có lợi cho sức khỏe. |
TÁC ĐỘNG (Impact) Những hệ quả lâu dài của chương trình, có thể là những ảnh hưởng tích cực hoặc tiêu cực. |
Các bước lập kế hoạch giám sát và đánh giá
1. Xác định mục tiêu giám sát/đánh giá: tức là xác định những loại hoạt động hay dịch vụ nào cần giám sát/đánh giá, để biết tình hình tiến triển chung của dự án hay có mục đích riêng nhằm can thiệp nhằm thúc đẩy một loại dich vụ đặc biệt nào đó.
2. Xác định xem ai sẽ tham gia vào quá trình giám sát/đánh giá: Sự tham gia của các bên có liên quan giúp hiểu được các suy nghĩ và mong muốn của họ và đảm bảo rằng những ý kiến phản hồi của họ sẽ được lồng vào trong thiết kế, chiến lược dự án.
3. Làm rõ phạm vi: Người quản lý cần xác định phạm vi cần tiến hành M&E về mặt địa lý, đơn vị hay cơ sở nào, đối tượng nào cần tiếp xúc, trong bao lâu và ngân sách sẽ được dùng cho đánh giá và giám sát là bao nhiêu?.
4. Xác định các thông tin cần thu thập: Các thông tin về tiến độ hay/và thông tin về đầu ra/kết quả thực hiện? để xem bạn muốn biết những gì.
5. Các chỉ số. Chỉ số được dùng như một công cụ để đo lường thành quả một cách rõ ràng, giúp đánh giá các kết quả thực hiện, hoặc để phản ánh những thay đổi. Các chỉ số có thể mang tính định lượng và/hoặc định tính.
6. Xác định phương pháp thu thập thông tin. Dựa vào nguồn thông tin sẵn có, đọc tài liệu, bộ câu hỏi, điều tra, hay phỏng vấn.
7. Phân tích và tổng hợp thông tin thu thập được: Chọn lọc, sắp xép lại một cách hệ thống các thông tin thu thập được theo mối liên quan hoặc theo từng mục tiêu khác nhau. Tùy vào loại thông tin là định lượng hay định tính để hiển thị, sắp xếp thông tin và kết quả tính toán phù hợp
8. Trình bày kết quả M&E:
- Nêu lại mục đích, mục tiêu, yêu cầu, đối tượng, phương thức và thời gian M&E
- Trên cơ sở các thông tin đã được phân tích để nhận định, đánh giá kết quả thực hiện các hoạt động, hoặc các đầu ra, kết quả. Nêu rõ những điểm mạnh, điểm yếu, các nguyên nhân và tồn tại.
- Đề xuấtnhững biện pháp/ khuyến nghị khả thi nhằm thúc đẩy tiến độ hoặc bài học kinh nghiệm hoặc đưa ra quyết định chiến lược cho những giai đoạn/Dự án sau.
9. Chia sẻ các phát hiện và nhận xét của bạn với các bên có liên quan nhằm hỗ trợ, phối hợp thực hiện các biện pháp mà bạn đề xuất.
Một số hình về hoạt động đánh giá của Dự án ADB/WHO
Tài liệu tham khảo1.Danh mục thuật ngữ chính về Đánh giá và Quản lý dựa vào Kết quả của OECD (2002) tại www.oecd.org.
2.Tài liệu Monitoring and Evaluation tạiwww.worldbank.org/smallgrantsprogram
3.Sổ tay Quản lý chu kỳ dự án – Nhà xuất bản y học (2002) - Dự án PCSR Việt Nam – EC
4.Sổ tay hướng dẫn thực hiện Dự án – Dự án Nghiên cứu các tỉnh miền núi phía Bắc (Phần Giám sát và Đánh giá) -2004.
5.Cẩm nang theo dõi và đánh giá – Vụ Kinh tế đối ngoại, Vụ Kế hoạch & Đầu tư (2006).
6.Xây dựng hệ thống Giám sát & Đánh giá – Dự án hỗ trợ tăng cường công tác Giảm nhẹ và Ứng phó rủi ro, thiên tai tại Việt Nam giai đoạn 2009-2011.
7.Tài liệu tập huấn Giám sát và Đánh giá – Dự án QTC PCSR (2007).
8.http://www.theglobalfund.org/pdf/guidelines/pp me toolkit en.pdf
9.http://www.rbm.who.int/cmc_upload/0/000/012/168/m_e_en.pdf