게시판 인덱스

 
 FAQFAQ   검색검색   멤버리스트멤버리스트   사용자 그룹사용자 그룹   사용자 등록하기사용자 등록하기 
 개인 정보개인 정보   비공개 메시지를 확인하려면 로그인하십시오비공개 메시지를 확인하려면 로그인하십시오   로그인로그인 

동료도움 평가 채점 기준

 
글 쓰기   답변 달기     게시판 인덱스 -> 4190.210 Principles of Programming (Fall 2013)
이전 주제 보기 :: 다음 주제 보기  
글쓴이 메시지
강지훈



가입: 2008년 9월 2일
올린 글: 291
위치: 302동 312-2호

올리기올려짐: 2013년12월18일 15:07    주제: 동료도움 평가 채점 기준 인용과 함께 답변

안녕하세요? 조교 강지훈입니다.
학기말이라 정신 없으실 것으로 생각합니다. 모두 기운내서 마지막까지 잘 해나가시길 기원합니다.

동료도움 평가를 채점하는 기준을 명확히 하기 위해 공지합니다.
그동안 동료도움에 대한 여러가지 의견이 있었습니다. 정말 큰 도움이 되었다는 의견도 있었고, 타당한 지적도 있었습니다. 이를 종합하여 구체적으로 어떻게 채점할지에 대해 자세히 설명드리겠습니다.

0. 문제당 최대 동료도움 점수는 10점입니다.

1. 한 문제에 대해 세 개10개 이상의 비슷한 동료도움을 작성했을 경우, 비슷한 동료도움을 무효처리합니다.
한 학생의 경우, 심지어는 "수고하셨습니다. 특별히 조언할 부분이 없는 코드입니다"라는 동료도움을 문제당 50여개씩 달기도 했습니다. 대부분은 0점은 받았지만 간간히 점수를 받기도 했는데요, 이런 경우까지 점수를 인정하기는 어렵다고 판단하였습니다.
참고로 수정 정도 (edit distance, http://en.wikipedia.org/wiki/Edit_distance) 를 기준으로 10 미만일 경우 두 동료도움이 비슷하다고 판단했습니다.

예를 들어보겠습니다. 한 문제에 20개의 리뷰를 작성했는데, 그중 10개의 리뷰가 똑같다고 합시다. 이 때 똑같은 10개의 리뷰에서 5점을, 다른 10개의 리뷰에서 5점을 얻었다면, 다른 리뷰에서 얻은 5점만 인정합니다.

2. 충분히 의미있을만한 동료도움을 주지 않을만한 짧은 리뷰의 경우, 최대 1점을 드립니다.
한 학생의 경우, "좋음좋음좋음좋음좋음좋음좋음"이라는 동료도움을 주었는데 2점을 받기도 했습니다. 2점을 평가한 학생의 의도를 완전히 무시할 수는 없으나, 2점이나 주기에는 너무 미흡하다고 판단하였습니다. 이렇게 짧은 리뷰에 대해서는 점수를 최대 1점 드리겠습니다.
짧음의 기준은 70자로 50자로 하려 합니다 (한글/영문자/기타 상관없이).

3. 문제당 최대 7개의 리뷰 점수만 반영합니다.
1점을 열개 모은다고 해서 10점을 받을 수 없고, 그런 경우 7점을 받게 됩니다.

3번 규칙은 삭제합니다.

미리 공지된 기준은 아니지만, 조금이라도 더 의미있는 채점을 하기 위한 규칙을 만들었음을 이해해주시면 좋겠습니다. 이외에도 더 의미있는 기준을 세우기 위한 방법을 더 찾고 있는중입니다.

감사합니다.

--

12월 19일: 교수님과 상담한 결과, 위와 같이 룰을 변경하기로 했습니다.
_________________
강지훈
프로그래밍의 원리 조교

Jeehoon Kang
TA, Principles of Programming


강지훈 가 2013년12월19일 11:14에 수정함, 총 1 번 수정됨
위로
사용자 정보 보기 비밀 메시지 보내기
이승준



가입: 2013년 9월 19일
올린 글: 4

올리기올려짐: 2013년12월18일 17:08    주제: 이의 제기합니다. 인용과 함께 답변

리뷰를 하다보면 동일한 부분에서 완벽하게 동일한 실수를 한 문제들이 있습니다.

한 리뷰로서 동일한 두 문제에 공통으로 리뷰할 수 있다면, 또한, 그 리뷰를 보고 평가자가 도움이 되었다고 생각한다면, 해당 리뷰를 0점으로 처리하는 것은 부당하다고 생각합니다.

물론 예시로 들은 리뷰처럼 단순히 더미(dummy)식의 리뷰의 처분을 반대하는 것은 아닙니다.

그러나 그로인해 가치있는 리뷰도 함께 0점처리당하는 것은 적절하지 않다고 생각하며 이에 관련해서 조교님의 추가적인 검토를 요구합니다.
위로
사용자 정보 보기 비밀 메시지 보내기
강지훈



가입: 2008년 9월 2일
올린 글: 291
위치: 302동 312-2호

올리기올려짐: 2013년12월18일 17:11    주제: 인용과 함께 답변

일단 내일 어떤 동료도움을 0점처리했는지 명시하겠습니다. 명시한 결과가 부당하다고 생각되는 경우 연락주시면 감사하겠습니다.
_________________
강지훈
프로그래밍의 원리 조교

Jeehoon Kang
TA, Principles of Programming
위로
사용자 정보 보기 비밀 메시지 보내기
남형걸



가입: 2013년 9월 13일
올린 글: 9

올리기올려짐: 2013년12월18일 18:06    주제: ㅇ 인용과 함께 답변

적어도 2번의 채점기준처럼 글자수를 제한하는건 많이 비합리적이라고 생각되네요. 똑같이 의미없는 리뷰라도 긴 리뷰는 점수를 온전히 주고 짧은 리뷰만 반으로 깎아 준다니요.
위로
사용자 정보 보기 비밀 메시지 보내기
김도영



가입: 2013년 9월 29일
올린 글: 3

올리기올려짐: 2013년12월18일 18:48    주제: 인용과 함께 답변

복사와 붙여넣기에 대해 0점을 부과하는 것은 합리적이지 못하다고 생각합니다.

실제로 제가 받은 코드에서는 간단한 경우에는 변수 이름만 바뀐 정도로 같은 코드를 많이 받았었고

이에 대해 같은 리뷰를 보냈습니다.

거의 "같은 코드" 를 받았는데 상당히 다른 코드를 작성하는게 쉬울까요?

거기에 받는 사람 역시 복붙이라는 느낌을 받지 않았다면 점수를 줬을텐데 0점을 주는것은 점수를 주는 사람 역시 무시한다는 느낌을 받네요.



애초에 크라우드그레이더를 사용한 목적이 다른 사람의 코드를 보고 도움을 얻고 도움을 주는 것이었을텐데, 매우 기초적인 문제들 마저도 비슷한 코드들을 보고 리뷰를 잘 하라는 것이 학생들에게 어떠한 도움이 되는지 잘 모르겠습니다. 차라리 챌린지만 리뷰를 했으면 훨씬 도움이 됬을것 같네요.
위로
사용자 정보 보기 비밀 메시지 보내기
김광래



가입: 2013년 9월 21일
올린 글: 11

올리기올려짐: 2013년12월18일 18:59    주제: 이의가 있습니다. 인용과 함께 답변

1번 기준의 경우, 위에서 이미 문제를 잘 지적해주신 듯 합니다. 한편 저것을 조교님께서 굳이 제제하실 필요가 없다는 생각도 듭니다. 예시로 언급된 무의미한 복사 붙여넣기식 리뷰의 경우 학생들이 알아서 0점을 주었을 확률이 높습니다. 물론 저런 리뷰에도 점수를 주는 일부 학생들이 있고, 저러한 리뷰 갯수가 50여개나 된다면 다 합해서 10점을 받았을 가능성도 있으니 무효처리하는 것이 맞다고 봅니다만, 10개나 15개 정도까지는 유의미한 리뷰점수를 얻지 못했을 것이라고 생각합니다. 실제 데이터가 없어 정확히 말씀드리지는 못하지만, 대부분의 학생은 저러한 리뷰에 점수를 주지 않았을테니 굳이 제제하실 필요가 없다는 것이 제 생각입니다.

2번 기준의 경우 대폭 수정이 필요해보입니다. 긴 코드가 좋은 코드가 아니듯이, 긴 리뷰가 좋은 리뷰라고 할 수 없기에 단순히 글자수를 가지고 감점을 하는 것은 올바른 평가 기준으로 받아들이기 어렵습니다. 한편 저러한 무의미한 리뷰("좋음좋음좋음")의 경우에도, 앞에서 언급했던 것 처럼 점수를 받는 경우는 극히 소수가 아닐까 생각합니다.

3번의 경우 사전 공지 없이 결정가능한 사안이 아니라는 생각이 듭니다. 기존에는 문제 당 최대 10점을 받을 수 있다는 기준만 존재했고, 이에 따라 상당히 많은 학생들이 문제당 10개~20개에 이르는 많은 리뷰를 해왔습니다. 리뷰에 많은 시간을 할애한 학생과 그렇지 않은 학생이 지금 시점에서야 동일한 개수제한을 적용받는 것은 합리적이라고 보기 어렵습니다.

의견 기다리겠습니다. 감사합니다.

+ 채점 결과 시트의 jn3 / hw7-2 부분이 30점으로 되어있는데 만점이 몇인가요?
_________


김광래 가 2013년12월18일 19:10에 수정함, 총 1 번 수정됨
위로
사용자 정보 보기 비밀 메시지 보내기
권보경



가입: 2013년 9월 29일
올린 글: 14

올리기올려짐: 2013년12월18일 19:09    주제: 인용과 함께 답변

위의 댓글들에 다 동의하는 바입니다.

그리고 애초에 리뷰 갯수를 5개로만 제한했어도 이런 문제는 거의 없었을거라 생각합니다... 체크해야할 리뷰 갯수도 줄었을 테구요
내년에도 동료평가를 한다면 갯수제한은 처음부터 꼭 필요할 것 같습니다.

갯수제한을 풀었던 이유가 심보가 고약해서 무조건 0점을 주는 사람들한테 많이 걸려서 재수가 없으면 낮은 점수를 받게되는 것 때문이라면 그냥 진짜 동료평가는 안해야 답인 것 같네요...

여튼 올해만 정말정말정말정!!!!!!!!!!!!!!ㅠㅠ 똥고생을 한 것 같아서 너무 슬프네요..
위로
사용자 정보 보기 비밀 메시지 보내기
강지훈



가입: 2008년 9월 2일
올린 글: 291
위치: 302동 312-2호

올리기올려짐: 2013년12월18일 20:08    주제: Re: 이의가 있습니다. 인용과 함께 답변

김광래 씀:

+ 채점 결과 시트의 jn3 / hw7-2 부분이 30점으로 되어있는데 만점이 몇인가요?


수정하였습니다.
_________________
강지훈
프로그래밍의 원리 조교

Jeehoon Kang
TA, Principles of Programming
위로
사용자 정보 보기 비밀 메시지 보내기
강지훈



가입: 2008년 9월 2일
올린 글: 291
위치: 302동 312-2호

올리기올려짐: 2013년12월18일 20:13    주제: 인용과 함께 답변

여러분 의견은 모두 잘 들었습니다. 내일 교수님께 말씀드리도록 하겠습니다.
_________________
강지훈
프로그래밍의 원리 조교

Jeehoon Kang
TA, Principles of Programming
위로
사용자 정보 보기 비밀 메시지 보내기
최재민



가입: 2013년 9월 26일
올린 글: 15

올리기올려짐: 2013년12월18일 21:16    주제: 인용과 함께 답변

위에 학생들이 잘 얘기를 해주셨네요.
1~3번 모두 동의하기 힘든 사안들입니다.

1번의 경우 복사 붙여넣기를 해서 같은 리뷰를 여러 학생들에게 해주었다 해도
그게 도움이 되었는지 안되었는지는 리뷰를 받은 학생들이 판단할 일이라고 생각하구요,
많은 리뷰를 그렇게 작성한 것도 그 학생의 노력이라고 생각합니다.

2번은 리뷰의 길이가 도움의 정도를 판가름하지는 못한다고 생각합니다. 물론 예로 들어주신 것과 같은 너무 무성의한 리뷰는 문제가 있지만, 쉬운 문제들은 정말 조언이 별로 해줄 것이 없어서 짧게 써준 경우도 많구요.

3번도 마찬가지로 학생들이 점수를 잘 주지 않았기 때문에, 많은 학생들에게 평가 점수를 받아 높은 동료평가 점수를 받기 위해 노력한 학생들이 큰 피해를 본다고 생각합니다. 애초에 7개가 한도라고 공지하지도 않으셨구요.

플젝 중에 약간 청천벽력 같은 느낌이네요...
잘 해결되었으면 좋겠습니다.
위로
사용자 정보 보기 비밀 메시지 보내기
강지훈



가입: 2008년 9월 2일
올린 글: 291
위치: 302동 312-2호

올리기올려짐: 2013년12월19일 11:14    주제: 인용과 함께 답변

교수님과 상담하에 룰을 수정하였습니다.
_________________
강지훈
프로그래밍의 원리 조교

Jeehoon Kang
TA, Principles of Programming
위로
사용자 정보 보기 비밀 메시지 보내기
이전 글 표시:   
글 쓰기   답변 달기     게시판 인덱스 -> 4190.210 Principles of Programming (Fall 2013) 시간대: GMT + 9 시간(한국)
페이지 11

 
건너뛰기:  
새로운 주제를 올릴 수 없습니다
답글을 올릴 수 없습니다
주제를 수정할 수 없습니다
올린 글을 삭제할 수 없습니다
투표를 할 수 없습니다


Powered by phpBB 2.0.21-7 (Debian) © 2001, 2005 phpBB Group
Translated by kss & drssay