エピソード

エピソードとは、reset() から終わりまでのステップの連なりです。終わり方は2通りあります。

• 終了（termination）: 転倒のように、タスクを終わらせる出来事が起きること。その後に将来の報酬はありません。
• 打ち切り（truncation）: 時間制限で切られること。タスクは続けられたはずなので、学習器はその後に得られたはずの報酬を価値関数で見積もるべきです。時間制限を本当の終わりとして扱うのは典型的なバグで、エージェントは「世界は10秒で終わる」と学んでしまいます。

各エピソードは普通、少しずつ違う状態から始まるので、方策（ポリシー）は1つの決まった状況ではなく、さまざまな状況に対処することを学びます。

信号としてのエピソード長

転倒でエピソードが終わる場合、平均エピソード長はスキルの手軽な指標になります。毎回10秒をまるごと生き延びるエージェントは、もう転ばなくなっています。

このプロジェクトでは

エピソードは1秒あたり50ステップで10秒、つまり500ステップ続きます。各エピソードは、リズムの開始位相、テンポ（1秒あたり0.8〜1.3拍）、振幅をそれぞれ抽選します。転倒とは、骨盤が 0.3 m 下がること、頭が 1.1 m より下になること、または足以外の部位が床に触れることです。押しのカリキュラム学習は、エピソードが平均で10秒中8秒以上続いたときにだけ段階が上がります。