게시판 인덱스

 
 FAQFAQ   검색검색   멤버리스트멤버리스트   사용자 그룹사용자 그룹   사용자 등록하기사용자 등록하기 
 개인 정보개인 정보   비공개 메시지를 확인하려면 로그인하십시오비공개 메시지를 확인하려면 로그인하십시오   로그인로그인 

크라우드그레이더 시스템과 이번 채점기준 변경에 대해서

 
글 쓰기   답변 달기     게시판 인덱스 -> 4190.210 Principles of Programming (Fall 2013)
이전 주제 보기 :: 다음 주제 보기  
글쓴이 메시지
황호기



가입: 2013년 9월 4일
올린 글: 19

올리기올려짐: 2013년12월19일 14:46    주제: 크라우드그레이더 시스템과 이번 채점기준 변경에 대해서 인용과 함께 답변

우선 글이 매우 길테지만 이해해 주세요.

이번에 채점기준의 변경으로 인해서 약 35점 정도의 피해를 입었습니다. 나머지 성적이 나쁜 편은 아니기 때문에 아주 큰 타격은 아니었지만 그래도 점수가 꽤 깍였습니다. 그것도 있고 점수 때문에 크라우드그레이더에 쏟은 시간도 있고 해서 이렇게 글을 씁니다.

처음 크라우드그레이더를 했을 떄에는 나름 코드도 오래 보고 그랬는데, 뒤로 갈수록 코드 보는 시간보다는 그냥 많은 사람에게 리뷰를 보내는 시간이 더 많아졌습니다. 지금부터 이렇게 된 원인이 무엇인지 적어보겠습니다.

코드를 받아보면 3종류로 나뉩니다.
1. 완벽한 코드
2. 정확하나 깔끔하지 않은 코드
3. 답이 틀리는 코드(안한 것 포함)

보통 대부분의 코드는 특별한 조언이 필요없는 1에 해당하며, 일부 2나 3에 해당하는 코드가 있습니다. 처음에는 2에 해당하는 코드는 꽤 되었습니다.(40%정도?)

그래서 조언해줄 것도 꽤 있고 해서 양질의 리뷰가 많이 오갔습니다. 리뷰 점수도 서로 많이 주었고요. 그리고 리뷰 점수 기준이 바뀌었습니다. 그리고 자기의 코드가 완벽하면 리뷰에 점수를 주지 말라는 교수님의 말씀이 있었습니다. 그때부터 문제가 발생하기 시작했습니다. 여기서부터 사람들이 리뷰를 쓰는 방식은 3가지로 나뉩니다.

1. 기존에 하던대로 5개 +조금 더의 코드를 원래 하던대로 리뷰한다.
2. 리뷰의 질보다는 양을 추구해서 많은 리뷰를 보낸다.
3. 시스템이 맘에 안드니 리뷰를 하지 않는다.

역시 초기에는 대부분 1의 방식으로 리뷰를 하였습니다. 근데 여기서 문제가 발생하였습니다. 리뷰의 리뷰(리뷰 피드백)을 해주는 방식도 사람마다 달랐는데, 그 종류들을 나열하자면

1. 마음에 들면 좋은 점수를 주고, 도움이 안되는 리뷰는 점수를 주지 않는다.
2. 교수님의 말에 따라 정말 도움이 되는 리뷰에만 점수를 준다.
3. 어처피 절대평가니까 사람들 학점이 잘나오게 전부 2점을 준다.
4. 다른 사람에게 점수를 주기 싫으니 전부 0점을 준다.
5. 역시 시스템이 맘에 안드니 점수를 주지 않는다.

저는 2번에 해당합니다. 저 때문에 점수 낮게 받으신 분들 죄송합니다. 어쨌든 리뷰에 대한 점수가 오는데 사람의 본질적인 특성상 1,3보다는 2,4의 사람들이 많습니다. 심지어, 리뷰에 써준 조언을 이해하지 않고 자신의 논리를 계속 펼치면서 점수를 주지 않은 사람도 있습니다. 특히 코드의 깔끔함이나 주석에 대한 부분에서는 각자 생각하는 방향이 달라서 해당 부분에 대한 지적은 아예 조언으로 치지도 않는 사람이 많았다고 생각합니다.

그래서 2번째 과제의 리뷰의 점수를 받고 충격을 받았습니다. 나는 나름 열심히 썼는데 조언을 받을 생각은 하지 않고 많은 리뷰에 0점이 오니 크라우더그레이드를 하고 싶지 않아지더라고요. 그래서 이제까지 리뷰의 점수를 잘 준 것을 전부 낮은 점수로 바꾸고 저도 점수를 주지 않게 되었습니다.

그래서 다음 3번째 과제를 하다가 생각이 났습니다. 어처피 리뷰의 질을 아무리 높여도 점수를 안 주는 사람은 안 주니까 점수를 잘 받을 리뷰를 쓰는 것보다는 점수를 잘 주는 사람에게 리뷰를 보내는 것이 더 나을 것이다. 하지만 그래도 저는 최소한 추가 테스트셋을 만들고 코드도 보는 등 리뷰의 질은 유지하고 개수만 조금 늘렸습니다. 리뷰를 주는 방식이 1과 2의 중간쯤에 온 것이지요. 하지만 리뷰의 점수는 별로 오르지 않았습니다. 그 이유를 생각해봤더니 다음과 같았습니다. 사람들이 리뷰의 점수를 주는 기준이 바뀐 것입니다. 물론 근본적인 원인은 저번 과제에서 나는 점수를 잘 줬는데 오는 점수는 낮아서였을 것입니다. 그래서 1이나 3의 기준으로 리뷰의 점수를 주던 사람들이 2나 4로 바뀌고 심지어 이러한 시스템에 회의를 느끼고 리뷰도 주지 않고 리뷰의 리뷰도 하지 않는 사람도 생겼습니다.

이것이 반복되면서 리뷰는 질보다 양을 추구하게 되었고, 리뷰당 점수는 더더욱 조금 들어오게 되었습니다. 그 와중에 리뷰에 좋은 지적을 했음에도 불구하고 자신의 의견만 주장하며 낮은 점수를 주는 사람들 때문에 좋은 리뷰를 쓰는 것에 대한 회의감도 들었습니다.

이렇게 되니, 과제 6을 할 때 쯤에는 코드도 별로 안보게 되었고 그냥 많은 리뷰만 보내게 되었습니다. 그런데, 여기서 또 하나의 문제가 발생합니다. 바로 코드의 전체적인 질들이 좋아진 것입니다. 답을 틀리는 사람은 5개 중에 1개 있을까 말까 했고 코드가 더러운 사람도 상당히 줄어들었습니다. 그러니 리뷰를 다양하게 쓰려고 해도 리뷰할 게 없으니 다다른 결론은 그냥 잘했다는 말을 복붙하는 것 말고는 할게 없다는 것이었습니다. 그래서 과제 6,7,8은 특별한 문제가 없는 코드는 같은 리뷰를 보내게 되었고, 그래서 10개씩 같은 리뷰가 갔을 겁니다. 그래서 리뷰에 복붙이 생긴 것입니다.
잘한 코드는 넘기면 되긴 하였지만, 자기 코드가 잘 되어 있으니 2점을 주는 사람이 있고, 잘했습니다 말고 조언을 주어도 0점을 주는 사람이 많았기 때문에 복붙 리뷰는 생길 수 밖에 없었습니다.

요약하자면,
1. 처음에는 사람들이 리뷰를 잘 주었다.
2. 그러나 리뷰의 점수를 낮게 주는 사람이 점점 늘어났다.
3. 게다가, 사람들 코드도 좋아져서 리뷰로 조언할 것도 줄어들었다.
4. 그런데, 별로 도움이 안되는 리뷰에 2점을 주는 사람들이 있다.
5. 그래서 복붙 리뷰가 생겨났다.

이러한 상황에서 현재 생긴 채점기준에 대한 불만을 말하자면 다음과 같습니다.

우선 공지 시기가 상당히 늦었습니다. 이러한 공지는 리뷰를 쓰기 전에 했어야 한다고 생각합니다. 혹은 채점기준이 현재 점수를 받기 위한 노력은 잘 반영해야 한다고 생각합니다. 이러한 관점에서 현재 체점기준에 대해서 이야기해보겠습니다.

복붙에 대해서 10개 이상의 같은 리뷰는 점수를 0점처리 한다고 했습니다. 이것은 2가지 문제점이 있습니다. 첫번째는 복붙 리뷰가 생긴 원인에 있습니다. 복붙 리뷰는 나름대로 열심히 써도 점수가 나오지 않는 것 때문에 발생한 것입니다. 즉 복붙 리뷰도 점수를 얻기 위한 나름대로의 노력이라고 생각합니다. 이러한 리뷰에 0점을 먹인다는 것은 이러한 노력을 무시하는 행동입니다. 두 번째는, 공평하지 않습니다. 복붙 리뷰의 수는 전체 쓴 리뷰의 수에 비례할 것입니다. 그러면, 여기서 점수 감소를 피할 수 있는 2가지 케이스가 생깁니다. 하나는 10개보다 적게 복붙한 리뷰입니다. 같이 복붙을 했는데 10개 이상만 피해를 보는 것은 말이 안됩니다. 두번째는 본질적으로 같은 리뷰에 내용만 바꾼 리뷰를 보낸 사람입니다. 본질적으로는 복붙과 다를 게 없는데 기준에는 걸리지 않습니다.

그리고 짧은 리뷰에 2점을 1점으로 바꾸는 것도 역시 약간 공평하지 않습니다. 50자 정도면 걸러낼 수 있다고 하나 정말 핵심만 말한 리뷰는 50자가 되지 않을 수도 있습니다. 사실 그것보다는 역시 같은 의미없는 리뷰인데 50자 이하만 점수를 내리는 것은 공평하지 않다고 생각합니다. 제가 받은 리뷰 중에는 길이는 길었으나 전혀 도움이 되지 않은 리뷰도 상당수 있었습니다.

이러한 공지를 미리 했더라면, 그것에 맞추어서 리뷰를 하였을 텐데, 이미 리뷰도 다 쓴 이후에 이렇게 점수를 깍는 것은 옳지 못하다고 생각합니다. 리뷰가 끝나고 난 후의 이러한 변경은 이전 규정에서 노력한 사람들을 무시하는 것이라고 생각합니다.

크라우드그레이더를 제대로 활용하려면 다음과 같은 규정대로 해야 한다고 생각합니다.

우선, 리뷰의 리뷰를 하지 않으면 리뷰 점수 뿐만 아니라 숙제 점수에도 약간의 불이익이 있어야 한다고 생각합니다. 그래야 리뷰를 안 쓰는 사람도 리뷰의 리뷰는 작성해서 모든 리뷰에 점수가 갈 수 있다고 생각합니다.

그리고, 리뷰의 리뷰의 경우 최소한 전체 리뷰에 5점은 주는 규정을 적용해야 합니다. 그러면 점수를 안주는 사람도 좋은 리뷰에는 점수를 주게 될 것입니다. 그래야 좋은 리뷰에도 0점을 받아서 기분이 상하는 일은 없을 것입니다.

그리고, 리뷰할 것이 없는 완벽한 코드의 경우, 어떠한 방법을 쓰던지 리뷰를 하는 사람이 없도록 해야 이 제도가 잘 돌아갈 것입니다. 물론 그 코드를 쓴 사람의 경우, 리뷰의 리뷰는 할 필요가 없게 하면 될 것입니다.

그러면 리뷰를 5개만 쓰게 되더라도, 좋은 리뷰가 많이 오가는 좋은 크라우드그레이더가 될 것 같습니다. 물론 이러한 규정은 리뷰를 다 쓰고 나서가 아닌 리뷰를 쓰기 전에 미리 공지해야 할 것입니다.

그래서 이 규정은 다음에 또 동료도움 평가를 하게 된다면 고려해 주었으면 좋겠고, 일단 현재 상황은 다음과 같이 해결해야 한다고 생각합니다.

1. 복붙 리뷰에 대하여
복붙 리뷰도 나름대로의 노력이라는 소리는 아까도 하였습니다. 하지만, 복붙도 2가지 종류가 있습니다. 정말 잘해서 잘했다고 한 복붙과 잘 하지도 않았는데 리뷰쓰기가 귀찮으니 하는 복붙이 있습니다. 그러니, 모든 복붙에 대하여 0점을 주는 것보다는 문제가 있는 코드에 복붙을 한 것에 대해서만 0점을 주어야 한다고 생각합니다. 아무 코드에 복붙을 하는 것과 코드는 보고 복붙을 하는 것은 차이가 있다고 생각합니다.

2. 짧은 리뷰에 대하여
50자 정도면 정말 아무것도 안적은 리뷰를 잘 걸러낼 수 있을 것이라고 생각합니다. 하지만, 역시 짧은 것과 성의가 없는 것은 약간 다른 문제라고 생각합니다. 짧은 리뷰가 복붙인 경우에만 점수를 내리는 것이 맞다고 생각합니다.

한 과제의 리뷰를 하는데 2일씩 쓴 사람으로써 이런 글을 쓰게 되어서 약간 아쉽네요. 두서없는 긴 글 읽느라고 수고하셨습니다. 이렇게 긴 글이지만 제 의견도 하나의 의견이니까 너무 심각하게 생각하지는 말아 주셨으면 좋겠습니다. 한학기동안 가르쳐주셔서 감사합니다. 프로젝트 열심히 할게요!


황호기 가 2013년12월19일 16:44에 수정함, 총 1 번 수정됨
위로
사용자 정보 보기 비밀 메시지 보내기
최재민



가입: 2013년 9월 26일
올린 글: 15

올리기올려짐: 2013년12월19일 16:37    주제: 인용과 함께 답변

제가 동료평가를 하면서 겪은 변화(?)를 그대로 잘 써주신 거 같네요...

저도 처음에는 질적으로 좋은 리뷰를 써주려고 노력했으나,

시간이 지날수록 질보단 양으로 가게 되었습니다.

많이 공감합니다.
위로
사용자 정보 보기 비밀 메시지 보내기
노승은



가입: 2012년 9월 18일
올린 글: 24

올리기올려짐: 2013년12월19일 22:03    주제: ㅕ 인용과 함께 답변

너무 늦은 시기에 평가 기준을 바꾸는 것이 아닌가 싶습니다 ㅠㅠ

지금 평가 방법 및 기준이 4번째 바뀌는 것인데요..
( 기존의 평가제도
-> 동료평가 도입, 리뷰 40점, 리뷰의 리뷰 20점 모두 학생이 평가
-> 리뷰의 리뷰만 평가, 0~2점으로 범위 축소
-> 상위 7개만 점수에 합산
-> 상위 7개 규정 삭제, 짧은 리뷰 제한, 같은 리뷰 제한 등등...)

평가 기준이 바뀔 때마다 많이 혼란스럽습니다.

그래도 지금까지의 변화는 선공지 - 후적용 개념으로, '앞으로의 숙제에 대해 바뀐 기준을 적용한다'는 식이어서 그나마 적응할 수 있는데요, 이번 변화는 그 반대입니다.

이미 어떤 기준 위에서 열심히 리뷰하고 났더니, 다른 기준을 적용시켜 평가하신다니 다리에 힘이 풀리는 느낌입니다.

너무 모든 해결을 이번 학기안에 다 보려고 하다보니 변화가 잦고, 그 과정에서 열심히 따라와준 학생들이 갈피를 못잡고 힘들어 하는 것 같습니다.


어떤 평가 기준을 적용하고 싶다면 미리 공지가 있었어야 한다고 생각합니다.
그래야 그 기준 안에서 최선을 다 할 수 있었을테니까요.

꼭 기준에 수정이 필요하다면 가장 조금만 변화시키는 방향으로 갔으면 좋겠습니다..
위로
사용자 정보 보기 비밀 메시지 보내기
이전 글 표시:   
글 쓰기   답변 달기     게시판 인덱스 -> 4190.210 Principles of Programming (Fall 2013) 시간대: GMT + 9 시간(한국)
페이지 11

 
건너뛰기:  
새로운 주제를 올릴 수 없습니다
답글을 올릴 수 없습니다
주제를 수정할 수 없습니다
올린 글을 삭제할 수 없습니다
투표를 할 수 없습니다


Powered by phpBB 2.0.21-7 (Debian) © 2001, 2005 phpBB Group
Translated by kss & drssay