Commit Graph

256 Commits

Author SHA1 Message Date
x54-729
a000c47748 减少部分测试的数据集大小和epochs以加快测试速度 2022-05-15 17:37:02 +00:00
yh
b1ba42e831 修复若干微小的bug 2022-05-15 22:33:30 +08:00
yh
6b56d8a082 merge callback test to speed up 2022-05-15 17:09:28 +08:00
yh
d4bccf3f6a 修复Evaluator的evaluate_use_dist_sampler在Trainer中的bug 2022-05-15 15:37:08 +08:00
x54-729
c4af9f21c6 paddle 和测试例跟进 set_dist_repro_dataloader 函数;修改test_trainer_wo_evaluator_torch.py的bug 2022-05-15 05:45:33 +00:00
x54-729
efaec85c57 1. 处理 topk_saver topk 参数为 None 的情况 2.Trainer on_exception 函数参数判断调整 3. 处理各类型 padder 中数据的 batch_size 为1 的情况 4. ReproducibleBatchSampler和ReproducibleSampler 对参数 length 的判断 5.TorchDataLoader 初始化参数调整 6.部分测试例跟进版本 2022-05-15 05:45:33 +00:00
x54-729
6e66fb899e 修正 JittorDataLoader 读取 jittor Dataset 无法进行索引的问题 2022-05-15 05:45:33 +00:00
yh
2423641010 新增TqdmProgressBar 2022-05-14 15:49:37 +08:00
MorningForest
6488f5e00f 修改fdl冲突 2022-05-13 20:23:45 +08:00
x54-729
655e48de99 1.修改torch测试例中多卡的driver参数 2.修改测试例中的driver.save driver.load为driver.save_checkpoint driver.load_checkpoint 3.添加lstm 2022-05-13 11:19:31 +00:00
yh_cc
97b504c020 修改Trainer.save/Driver.save为Trainer.save_checkpoint/Driver.save_checkpoint 2022-05-13 12:32:44 +08:00
MorningForest
2baedee74c Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-10 22:31:04 +08:00
yh_cc
a470994686 print bug fix 2022-05-10 22:30:26 +08:00
MorningForest
6340de06ea Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-10 22:25:35 +08:00
x54-729
3533bc2704 恢复 torch paddle jittor 之间的转换函数 2022-05-10 11:35:41 +00:00
x54-729
d79de6b008 1. 继续完善部分文档;2.删除 paddle 多卡下的 data_device 功能 3. 将 paddle_utils 下的 get_device_from_visible 函数更名为 _convert_data_device 并进行修改 2022-05-10 10:58:40 +00:00
x54-729
7f42451d6d Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-10 07:31:46 +00:00
yh_cc
7763b2e087 新增Callback on_load_checkpoint测试 2022-05-10 11:51:12 +08:00
x54-729
ef892a7aed 1. 支持在不设置backend的情况下运行单卡的paddle程序 2.当通过launch启动且限制显卡时的paddle多卡逻辑 2022-05-09 19:38:01 +00:00
MorningForest
6f96d86e9f Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-10 02:38:44 +08:00
x54-729
3af4732f55 Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-09 14:54:40 +00:00
yh_cc
5d8d577399 Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-09 21:52:50 +08:00
yh_cc
cb5aa37015 补充部分文档 2022-05-09 21:52:43 +08:00
x54-729
2a44af2519 为 test_trainer_jittor 添加 DummyClass 和 pytest.mark.jittor 2022-05-09 11:34:55 +00:00
x54-729
34698f0f9e 删除 mix_module 和 torch_paddle_driver 的内容 2022-05-09 11:34:15 +00:00
MorningForest
7c268fe546 Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-09 17:01:07 +08:00
x54-729
fe449bd543 删除 initialize_paddle_driver 对参数 driver的限制,使得它能够根据 device 初始化 driver 2022-05-09 08:59:03 +00:00
MorningForest
c90c489cd5 修改冲突 2022-05-09 16:44:11 +08:00
YWMditto
3f00642ba1 修复了冲突 2022-05-09 14:36:37 +08:00
YWMditto
bcc66b43cf 修改了 trainer 和 evaluator 的 torch_kwargs 2022-05-09 14:35:11 +08:00
yh_cc
47a63c27f7 1.修改部分注释; 2.增加prepare_dataloader函数;3.paddle的paddler修改为先集中使用numpy pad再一把to_tensor 2022-05-09 01:29:11 +08:00
MorningForest
81ef1ec4b7 修改paddle fdl测试用例 2022-05-08 21:53:07 +08:00
MorningForest
4c3b05b4b3 Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-07 22:00:47 +08:00
MorningForest
af8fdf9080 修改fdl测试用例 2022-05-07 22:00:39 +08:00
yh_cc
f1fa665e7c merge 2022-05-07 14:14:46 +08:00
yh_cc
22c4a6ef3d 1.ResultsMonitor;2.修改了Evaluator中metric名称的实现方式 2022-05-07 14:13:55 +08:00
Letian Li
a294955e32
[bugfix] 支持 Jittor single driver,并添加测试用例 (#413)
* 支持 Jittor single driver

* 提交对 Jittor single driver 的测试用例
2022-05-07 13:13:42 +08:00
MorningForest
9f6b9544a0 Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-06 15:37:00 +08:00
MorningForest
1ecf423013 修改测试用例 2022-05-06 15:36:51 +08:00
yh_cc
2a80a9de44 Trainer.on支持*args等形式的输入 2022-05-06 14:32:25 +08:00
yh_cc
47a4ab4d84 重命名tests/core/collators/test_pakcer_unpacker.py 2022-05-05 22:43:40 +08:00
yh_cc
0fd17152b8 修改Collator的实现,优化了nested场景下的报错 2022-05-05 22:24:13 +08:00
MorningForest
cdf3474e2e 修改fdl测试用例 2022-05-05 20:23:15 +08:00
MorningForest
da25fbee3f 修改fdl 2022-05-05 19:24:50 +08:00
MorningForest
97a7532a71 修改dl, dataset 2022-05-05 13:28:15 +08:00
yh_cc
2297fcb30a Merge branch 'dev0.8.0' of github.com:fastnlp/fastNLP into dev0.8.0 2022-05-04 20:53:34 +08:00
yh_cc
8c5250f5b4 增强了cache_results, 现在可以将函数的参数hash进入保存的文件名字中 2022-05-04 20:53:28 +08:00
x54-729
281a570b09 1、调整单卡中 save_and_load_model 测试例,不再使用 pytest.fixture 2、添加 PaddleFleetDriver 中 broadcast 误删的设备转换 2022-05-03 15:34:17 +00:00
x54-729
38e578f6b5 PaddleDataLoader 1、初始化时如果 batch_sampler 为 None 时重置 shuffle 等参数 2、测试例中删除了不必要的 test_v2 2022-05-03 15:05:30 +00:00
x54-729
cbffa896c5 删除 test_get_padder_run 中 jittor 的情况 2022-05-03 14:52:11 +00:00