프로그램 위원회 채점 가이드라인 + 모범 사례 | Program Committee Scoring Guidelines + Best Practices

영어로 보려면 한국어 텍스트를 건너뛰어 스크롤하십시오.

If you wish to view this in English, please scroll past the Korean text.

 

대한민국 서울과 호주 시드니에서 2019년 12월 9-13 일에 열리는 Kubernetes Forum 서울 + 시드니 프로그램 위원회 회원 여러분의 노고에 매우 감사드립니다.

이들은 귀하의 제안서를 검토할 때 사용하는 공식 CFP 채점 가이드라인 및 우수 사례입니다. 쉽게 참조할 수 있도록 이 페이지를 북마크하십시오. 질문이 있으면 낸시(Nanci Lancaster) 에게 이메일을 보내주십시오.

정보에 접근하려면 이 페이지의 탭을 클릭하십시오.

기억해야 할 중요한 날짜

  • 지정된 제안서의 50% 이상을 검토해야 합니다: 9월 17일 화요일
  • 지정된 제안서의 100%를 검토해야 함: 9월 24일 일요일
  • 위원장 선출 기간 + 일정 수립: 9월 26일-10월 11일
  • 발표 일정: 2019년 10월 16일 수요일
  • 이벤트 날짜: 서울: 2019년 12월 9-10일; 시드니: 2019년 12월 12-13일

채점 가이드라인

각 제안서의 품질을 콘텐츠, 독창성, 관련성 및 발표자에 대해 숫자 1-5 중에서 선택하여 점수를 매기십시오:

  • 5 (우수)
  • 4 (보통 이상)
  • 3 (보통)
  • 2 (보통 미만)
  • 1 (수준 미달)

알림: 검토할 각 제안서에 대한 의견을 남기고 왜 그런 점수를 주었는지 자세히 설명해야 합니다.

각 제안서에 대해 승인된 프로그램의 최종 부분인지 여부를 “예” 또는 “아니요”로 표시하여 나타냅니다.

검토 중인 주제에 맞지 않는 제안서를 찾으면, 선택사항 드롭다운 메뉴에서 제안서가 가장 맞는다고 생각되는 주제를 선택합니다. 검토 설정 내에서 다른 제안서에 했던 것처럼 이 제안서에도 점수를 매기십시오.

검토절차에 대한 모범 규준

  • 시간 엄수: 할당된 수량에 따라 트랙에 있는 모든 제출물을 검토하려면 계획 수립 과정에서 총 2-6시간을 염두에 두십시오. 한 번에 4-8세션을 목표로 검토하고 중간마다 휴식을 취하십시오. 이렇게 하면 신체적인 무리를 피하고 편안한 시선으로 더 많은 제안서를 볼 수 있습니다.
  • 프로세스 무결성: 제출 프로세스와 의견의 기밀을 지킴으로써 검토 프로세스의 무결성을 보호하고 과도한 편견을 피하는 것이 매우 중요합니다. 당사의 행동 규범 을 검토하고 이를 준수하십시오.
  • 대중 및 작성자와의 교류: 공정한 검토 프로세스를 보장하려면, 프로그램 위원회 위원은 작성자 및/또는 전체 대중(즉, 트위터 사용은 금지)과 함께 제출물에 대해 논의해서는 안 됩니다. 물론, 일정이 게시되면 참석하게 되어 달가운 승인된 세션에 대해 댓글을 남겨 주시기 바랍니다.
  • 이해 관계의 충돌: 검토자는 제출물을 채점할 때 모든 제출물을 공정하게 평가할 수 있도록 회사 또는 기타 제휴사가 아닌 “Kubernetes Forum” 모자를 써야 합니다. 제출물이 가까운 동료가 작성한 것이거나 귀하와 관련되었거나 또는 경쟁자가 작성한 것이라면, 해당 자료는 이해 관계의 충돌로 표시하여 건너뛰십시오.
  • 검토 기준: 앞서 언급했던 것처럼 채점 체계는 5(우수), 4(보통 이상), 3(보통), 2(보통 미만), 1(수준 미달)의 5개 옵션으로 나뉩니다. 해당 의견에 대한 본인의 자신감과 왜 그런 점수를 주었는지 그 이유를 강조하는 것이 중요합니다. 제안서를 검토할 때는 다음 기준에 유의하십시오:
    • 관련성 – 콘텐츠에 “작년”에 일어났던 일 등 새롭고 흥미로운 주제와 정보가 적절히 연관되어 있습니까? 콘텐츠가 컨퍼런스와 관련이 있습니까?
    • 독창성 – 발표 내용이 어떤 컨퍼런스에서도 전혀 들어보지 못했을 정도로 독창적입니까? 콘텐츠의 제작 방식이 독창적입니까?
    • 건전성 – 전달된 내용이 이해가 됩니까? 아니면 별 요점 없는 진부한 내용입니까? 발표자가 주제와 동떨어진 내용을 다루었습니까?
    • 발표 내용 품질 – 제안서의 내용이 매력적이고 깊이 생각해서 작성되었습니까? 배경 자료를 봤을 때 발표자가 이 프레젠테이션을 효과적으로 전달할 것이라고 보십니까?
    • 중요성 – Kubernetes Forum 청중에게 이 콘텐츠는 얼마나 중요하게 작용합니까?
    • 경험성 – 이 발표자에게 이 프레젠테이션 내용을 잘 전달할 정도로 경험이 풍부합니까? 주제에 대한 발표자의 경험이 제안된 내용과 일치합니까?
  • 여러 건의 제출물을 낸 발표자: 같은 발표자의 강연은 하나 이상 수락되지 않습니다. 같은 발표자가 제출한 한 건 이상의 강력한 제안서를 검토할 입장에 있다면, 프로그램 공동의장이 “이 세션은 이 컨퍼런스에서 승인된 프로그래밍의 일부인가?”라는 질문에 답변할 때 그 중 하나에 대해 “예”라고만 답할 수 있게 해줄 수 있습니다. 귀하의 의견을 사용하여 다른 강연보다 본인의 강연이 더 나은 이유를 알려주십시오.
  • 의견 검토: 제출한 작성자는 대기업 부사장 또는 대학생도 될 수 있다는 사실을 기억하십시오. 귀하의 피드백이 건설적인지, 특히 거부된 제안에 대해서는 피드백 요청이 접수되면 일부 의견을 전달할 수 있습니다(혹 귀하와 관련이 없어도). 검토 요소의 좋은 예는 다음과 같습니다:
    • 제안서에 대한 긍정적 측면을 강조합니다.
    • “였다면 도움이 되었을 것”이라는 건설적인 피드백을 제공하고 해당될 경우 사실을 포함합니다.
    • “발표 내용이 미숙하다”는 등의 직접적인 공격은 피하고 “해당 YouTube 동영상을 보면 발표 스타일에 대해 우려가 보인다”고 말하는 것이 좋습니다.
  • 소규모 세션: 프레젠테이션은 주제 전문가가 신선하거나 독특한 관점으로 전달합니다. 프레젠테이션 제안서를 검토할 때 유의할 사항은 다음과 같습니다:
    • 제출물이 잘 쓰여졌습니까?
    • 해당 주제가 관련성이 있고 독창적이며 주제 전문가의 고려 대상이 됩니까?
    • 자사의 특정 제품이 거론되고 있습니까? 그렇다면, 광고가 아닌 방식으로 거론되고 있습니까? 자사의 세일즈 피치 또는 정보에 입각한 것으로 겹치는 세션은 대개 청중에게서 매우 불만족스러운 평가를 받습니다.
    • 타겟 청중은 누구입니까? 초록과 설명이 필요한 전문지식과 일치합니까?

연락처

제안서를 검토하거나 검토 과정에 대해서나 제안된 우수 사례에 대해 궁금한 사항이 있으면 낸시(Nanci Lancaster)에게 연락하여 도움을 구하십시오.

Thank you in advance for your efforts as a member of the Program Committee for Kubernetes Forum Seoul + Sydney, taking place December 9–13, 2019, in Seoul, South Korea and Sydney, Australia.

These are the official CFP Scoring Guidelines and Best Practices to use when reviewing your set of proposals. Please bookmark this page for easy reference. If you have any questions, please email Nanci Lancaster.

Please click through the tabs on this page to access information.

Important Dates to Remember

  • Must have at least 50% of your assigned proposals reviewed: Tuesday, September 17
  • Must have 100% of your assigned proposals reviewed: Sunday, September 22
  • Chairperson Selection Period + Schedule Building: September 25–October 11
  • Schedules Announced: Wednesday, October 16, 2019
  • Event Dates: Seoul: December 9–10, 2019; Sydney: December 12–13, 2019

Scoring Guidelines

Grade the quality of each proposal on a 5 to 1 grading scale for content, originality, relevance, and speaker(s):

  • 5 (Excellent)
  • 4 (Above Average)
  • 3 (Average)
  • 2 (Below Average)
  • 1 (Poor)

Reminder: You are required to leave comments for each proposal you review, detailing the reasoning for your score.

For each proposal, you will indicate whether or not you see it ultimately being part of the accepted program by stating “yes” or “no.”

If you come across a proposal that does not seem to fit in the topic you are reviewing, you will indicate which topic you think the proposal fits best in within an optional drop-down menu. Please still grade this proposal as you would any others within your review set.

Review Process Best Practices

  • Time Commitment: Please plan on committing 2-6 hours total to review all of the submissions in your track, depending on the amount you have been assigned. Aim to do 4-8 sessions at a time – then take a break / walk away. This helps prevent burnout and allows you to see more proposals with fresh eyes.
  • Process Integrity: It is very important to protect the integrity of the review process, and to avoid undue bias, by keeping the submissions and your comments on them confidential. Please review and adhere to our Code of Conduct.
  • Public & Author Interaction: To ensure an unbiased review process, program committee members should not discuss submissions with authors and/or the overall public (i.e., please no tweeting). Of course, please feel free to tweet about accepted sessions that you are excited to attend once the schedule has been published.
  • Conflict of Interest: Reviewers are asked to wear their “Kubernetes Forum” hats rather than the company or other affiliation when scoring submissions so that you rate all submissions fairly. If a submission was written by a colleague you work closely with or someone that you are seen to be associated with or in competition with, please skip by marking as a conflict of interest.
  • Review Metrics: As listed above, the ranking system is divided into 5 options: 5 (Excellent), 4 (Above Average), 3 (Average), 2 (Below Average), 1 (Poor). It is important that you highlight your level of confidence in your recommendation and the reasons why you gave the score you did. When reviewing proposals, keep in mind the following criteria:
    • Relevance – Does the content provide takeaways that are new and exciting vs information that was “so last year?” Is the content relevant to the conference?
    • Originality – Is this a presentation that is original and not one that a speaker repeats at every conference? Is the way the content is presented original?
    • Soundness – Does the content make sense in delivery or is it all over the place? Does the speaker seem to lack focus?
    • Quality of Presentation – Is the proposal engaging and well thought out? Does the background material suggest the speaker will deliver this presentation effectively?
    • Importance – How important is the content for the Kubernetes Forum audience?
    • Experience – Is this speaker a good person to deliver this presentation? Does their experience with the subject matter align with the proposed content?
  • Speakers with multiple submissions: We are unlikely to accept more than one talk from the same speaker. If you are in the position of reviewing more than one strong proposal from the same speaker, you can help the program co-chairs by only giving one of them a response of “yes” when answering the question, “do you see this session being part of the accepted programming for this conference.” Please use your comments to indicate why you prefer one talk over another.
  • Review Comments: Keep in mind that the submitting authors may be a VP at a large company or a university student. Ensure your feedback is constructive, in particular for rejected proposals as we do receive requests for feedback and we may pass on some comments (though we would not associate them with you). Good examples of review elements include:
    • Highlighting the positive aspects of a proposal.
    • Providing constructive feedback, “It would have been helpful if…” and include facts when applicable.
    • Avoid direct attacks “Their YouTube video gives me concerns about their speaking style” rather than “this person is a terrible speaker.”
  • Breakout Sessions: A presentation is delivered by a topic expert with a fresh or unique point of view. Some things to keep in mind when reviewing presentation proposals:
    • Is the submission well written?
    • Is the topic relevant, original and are they considered to be subject matter experts?
    • Are they talking about a specific product from their company? If so, is it engaging in a way that is not advertorial? Keep in mind that sessions that come across as a pitch or infomercial for their company are most often rated very poorly among the audience.
    • Who is their target audience? Does the abstract and description match up with the expertise required?

Contact Us

If you require any assistance reviewing proposals or have questions about the review process or any of the best practices we have suggested, please contact Nanci Lancaster for assistance.

Sponsors

PLATINUM

Microsoft Azure

GOLD

F5 Networks
Google Cloud
IBM – Black
Red Hat
Samsung SDS

SILVER

Acornsoft
Dynatrace
Elastic
GitLab
Instana – Robot
OpenSDS
Skhynix

BRONZE

Man Technology
NexClipper
SLEXN
Whatap
가입을 신청하고 최신 Kubernetes Forum Seoul 소식과 업데이트 사항을 받아보세요
Sign up to get the latest Kubernetes Forum Seoul news and updates