Evaluation
$R_{i,j}$
- Accuracy
- Backward trasfer = (usually negative) 若+就很厉害
- Forward transfer
Gradient Episodic Memory
$g’ \cdot g^1 \geq 0$
$g’ \cdot g^2 \geq 0$
沿着新的 $g’$ 的方向移动（需要存一些之前的data来算 g1g2）
Model Expansion
已经学不起来了-》扩张model的大小
有策略扩张
Progressive Neural Network
Task 1 训练固定（记住参数
Task 2 的input 会吃task 1的output
task越多，hiddenlayer越多
Expert Gate
观察新的任务和之前哪个任务最像 多一个任务多一个model
Net2net, 让network长宽
两个neural是相同的，参数一样的： add small noise
Curriculum Learning
如何在任务上排序
what is the proper learning order?