プロポーザルのレビューについて

スケジュール

2017年の場合

  • 2017/06/19 (月): トークセッション募集締切

  • 2017/06/10 (月): レビュー開始（同時並行で）

  • (選考会前日まで): レビュー締め切り

  • 2017/07月中 (月) までのどこか: 選考会（調整さんで日程を調整 https://chouseisan.com/ ）

  • 2017/07月中 (月): トークセッション採用可否のお知らせ（随時）

  • 2017/07月中: カンファレンス当日のタイムテーブル公開

../../_images/review-flow.png

レビューアーの要件

  • 必須要件: PyCon JP のトークに興味がある

  • スキルレベル: 上限下限なし

  • 分野: 全分野

レビューの必要性

PyCon JP 2017 をより良いイベントにするため、PyCon JP ではトークを採択するに当たって幅広い視点からレビュー行います。 しかし、プログラムチーム内のレビューだけでは、人数も少なく、視点が偏りがちです。 今年の PyCon JP のテーマは Output & Follow です。 参加者同士の対話、繋がりを作るためには、積極的に関わっていく姿勢が必要だと考えており、 多くの人数でレビューをして、多彩な意見が得られたほうが良いと考えています。 そこで、PyCon JP ではトークセッションのプロポーザルをレビューを行ってきました。

今年は、プロポーザル一覧が、公開されています。 また、SNS による投票の仕組みもついています。 しかし去年のレビューを考えると、じっくりプロポーザルを読んでみると、タイトルだけでは伝わらないけど内容はすごく良さそう、というものもあります。 やはり、SNS で気軽に聞いてみたいというものは、タイトル重視になりがちだと思うので、発表の質を担保し、多様性を引き出すには、きちんとプロポーザルの内容に目を通して吟味をするレビューも必要だと考えています。 よって、今年もスタッフの皆様と、その他レビューに協力してくれるボランティアの皆様で、レビューを行いたいと考えています。

わからないことがあれば、プログラムチーム担当者までお願いします。

レビューの準備

  1. Web サイト (http://pycon.jp/2017/) のアカウントを作成

  2. 応募用Googleフォームに必要事項を記入して送信する（PyCon JP スタッフはSlackの #review へ参加お願いします）

  3. Slack に招待されるのをお待ち下さい、 #review チャンネルへ招待します

  4. Web サイトのスタッフ権限を付けてもらう

    1. ダッシュボード (https://pycon.jp/2017/ja/dashboard/) に “チーム” のセクショ ンが表示されている場合は、スタッフ権限をすでに持っている

    2. スタッフの方は、@akira_taniguchi に連絡してください

  5. ダッシュボード -> チーム -> “Talk Reviewers” -> 参加 (緑)

  6. ダッシュボードに “審査” セクションが表示されるようになれば完了

  7. どんどんレビューしてください

    1. タグは、他のレビュワーの方の参考にもなるので、自由につけて頂いて結構です

    2. Overall Status は変更しないでください

    3. Online Result Status (右上の Accepted, Rejected など) についても変更しないでください

    4. バグがあったら、プログラムチームまで教えてください。

ポリシー

  • レビュワーの方には、プロポーザルの評価をしてもらいます（評価方法は後述します）

  • 気をつけて欲しいこと

    • ニーズで判断しないように気をつけて下さい。「聴きたい人が居なそうだからマイナス評価」というような、誰かの意見を代弁してマイナスするのではなく、自分がそのプロポーザルをどう思うかという視点で評価しましょう。

    • 今年のテーマ Output & Follow に沿って、仕事やビジネスチャンスに繋がる新たなつながりになることを念頭においてください。

    • 「ここでしか聴く機会がない」ようなトークに目を向けるようにしてみて下さい。

    • 聴衆はPythonというキーワードで参加します。Pythonと接点の薄い言語、ツール、文化といった話題でも、発表者がどのような価値を参加者にもたらそうとしているかを評価してください。

  • レビュワーによる評価の総数とコメントを参考に、最終的に選考会を行って、発表してもらうプロポーザルを決めます

    • 点数が十分に多いものは採用候補とします。同じようなトークが複数ある場合は、点数が高い方を優先します。分野が偏らないようにするため、各分野での採用数を3つまでとします（全体の採用数を満たすため、最終的に4つ以上採用する可能性はあります）

    • ほとんど点数が入っていないものでも、その分野で似たような話がなければ採用候補とします。

    • 得点が近い場合、内容のバランスなどを考慮しつつ、話し合いをしながら決定します。

    • 他のトークがキャンセルになった場合の補欠分についても、ある程度決めておきます。

    • SNS 投票についても考慮します。選考会までに、投票数をまとめておき（プログラムチームでやります）、SNS 投票数と得点の両方をみて採用を決めていきます。

  • CFP に投稿している人もぜひレビューワーになってください。自分のプロポーザルのレビューは出来ないようになっています。

  • レビュワーのコミュニケーションは Slack の #review で行います。気になったことは、気軽に発言してください。

レビューシステムのマニュアル

レビューシステムのマニュアルを参照してください。

レビューの進め方

レビュワーの方には、評価とコメントをつけてもらいたいです。

  • -1, -0, +0, +1 の4段階の評価

    • +1 非常に良いプロポーザルで、セッションとして含まれるべきだと思う

    • +0 まあまあのプロポーザル。特にこだわりはない

    • -0 あまり良いプロポーザルではないが、含まれても良いと思う

    • -1 問題があるプロポーザルで、含まれるべきではないと思う

  • 相対評価ではなく、トーク個別の絶対評価としてください。「AとBは似たようなトークでプロポーザルの記述も似たレベルだけど、Aの方が面白そう」なのであれば、評価はおなじにするのがよいでしょう。コメントになぜそう思ったのかを記載して下さい。

  • コメントは、軽いコメントでも良いので、つけてもらいたいです。投稿者にコメントをフィードバックしたいと思ってます（スタッフがあとでまとめて、コメントを付けた人の名前を外して投稿者へ送ります）

  • もし、修正・追加して欲しい内容があれば、フィードバック要求をレビュワーが送れるので、自由にに送ってください。自分の名前が相手に表示されます。名前が表示されたくない場合は、#review部屋で代理を依頼して下さい。

  • コメントなどで指摘されているが、フィードバックされていない漏れがあれば、随時プログラムチームがフォローします。

  • 評価の偏りをなくすために、多くのレビューがつくようにお願いします。

    • 1つのプロポーザルに3つ以上はレビューがほしい

    • あるプロポーザルが多く評価が付いて、評価が全くつかないプロポーザルもあるという状況をなくしたいので、いろいろ見てください

  • 採択結果通知は 2017/07月中 です。これまでにレビューを進め、選考会を開きます。

  • 選考会の日時は、後ほど調整さんで決定します。

  • 時間のあるときに、各自どんどん進めてください。

  • 特にフィードバックの送信は時間がかかるのでお早めに

何か質問があれば、Slack でプログラムチームへ聞いてください。