ml-1m数据集结果不一致

[enoche]

Hi，thanks for sharing the code.
With your source code unmodified (dropout: 0.5, neg-weight: 0.5), I have tried on ml-1m and get the following results:
First col: Recall
Second col: NDCG

loss,loss_no_reg,loss_reg -20357.158033288044 -20357.158033288044 0.0
TopK: [10, 20, 50]
Recall@10: 0.1 NDCG@10: 0.04893161658667473
Recall@20: 0.16258278145695365 NDCG@20: 0.06466930639306495
Recall@50: 0.29817880794701984 NDCG@50: 0.09132394256584671

Which is much lower than in readme:
NDCG@5, 10, 20
0.2457 0.2475 0.2656

May I have your help to reproduce your results on ml1m. Thanks.

[chenchongthu]

The results
NDCG@5, 10, 20
0.2457 0.2475 0.2656
is on ml-lcfn datasets.

To compare with LCFN, you need to use the dataset ml-lcfn, which is the same as the data used in Graph Convolutional Network for Recommendation with Low-pass Collaborative Filters.

[enoche]

Noted with thanks. I will try ml-lcfn.

[enoche]

The results
NDCG@5, 10, 20
0.2457 0.2475 0.2656
is on ml-lcfn datasets.

To compare with LCFN, you need to use the dataset ml-lcfn, which is the same as the data used in Graph Convolutional Network for Recommendation with Low-pass Collaborative Filters.

After running on ml-lcfn(with (dropout: 0.5, neg-weight: 0.5),), I got:

499
Updating: time=0.42
loss,loss_no_reg,loss_reg -14270.39457370924 -14270.39457370924 0.0
TopK: [10, 20, 50]
0.17474698281831363 0.24197656885939905
0.26642073600099603 0.2590238286022946
0.42833159703000406 0.30848090465690464

NDCG@10: 0.24197656885939905 < 0.2475
NDCG@20: 0.2590238286022946 < 0.2656

Not the same as reported in README, but is acceptable.

[chenchongthu]

Have you ever read the readme carefully? What is your setting of embedding size? For a fair comparison, we also set the embedding size as 128, which is utilized in the LCFN work.

[enoche]

Have you ever read the readme carefully? What is your setting of embedding size? For a fair comparison, we also set the embedding size as 128, which is utilized in the LCFN work.

Noted! Here is the results:

499
Updating: time=0.73
loss,loss_no_reg,loss_reg -15902.035453464674 -15902.035453464674 0.0
TopK: [10, 20, 50]
0.18050760514556305 0.24640283029068843
0.27622081694706263 0.26572967980513473
0.44025214134898943 0.31696308408475754

NDCG@10: 0.24640283029068843 < 0.2475
NDCG@20: 0.26572967980513473 > 0.2656

Much better!

[chenchongthu]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

[enoche]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。

games_processed.csv

[chenchongthu]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。

games_processed.csv

谢谢，我大概跑了一下，
parser.add_argument('--dropout', type=float, default=0.5,
help='dropout keep_prob')
parser.add_argument('--negative_weight', type=float, default=0.05,

在第100轮时结果如下：
R@20=0.0764
R@50=0.1323
N@20=0.0367
N@50=0.0511

看起来比SelfCF好很多？🤔
R@20=0.0509
R@50=0.0913
N@20=0.0250
N@50=0.0350

[enoche]

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

[chenchongthu]

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

代码就还是github上的代码

[enoche]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。
games_processed.csv

谢谢，我大概跑了一下，
parser.add_argument('--dropout', type=float, default=0.5,
help='dropout keep_prob')
parser.add_argument('--negative_weight', type=float, default=0.05,

在第100轮时结果如下：
R@20=0.0764
R@50=0.1323
N@20=0.0367
N@50=0.0511

看起来比SelfCF好很多？🤔
R@20=0.0509
R@50=0.0913
N@20=0.0250
N@50=0.0350

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

代码就还是github上的代码

嗯，了解。 您之前的数据是用last one，现在是用global-time line分隔，这个对程序上没有影响吗？

[chenchongthu]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。
games_processed.csv

谢谢，我大概跑了一下，
parser.add_argument('--dropout', type=float, default=0.5,
help='dropout keep_prob')
parser.add_argument('--negative_weight', type=float, default=0.05,
在第100轮时结果如下：
R@20=0.0764
R@50=0.1323
N@20=0.0367
N@50=0.0511
看起来比SelfCF好很多？🤔
R@20=0.0509
R@50=0.0913
N@20=0.0250
N@50=0.0350

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

代码就还是github上的代码

嗯，了解。 您之前的数据是用last one，现在是用global-time line分隔，这个对程序上没有影响吗？

没影响，只要把训练集测试集放在目录下，就可以直接跑了，
你的数据我也已经改成我这边可以直接用的格式上传了，https://github.com/chenchongthu/ENMF/tree/master/data/game

[enoche]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。
games_processed.csv

谢谢，我大概跑了一下，
parser.add_argument('--dropout', type=float, default=0.5,
help='dropout keep_prob')
parser.add_argument('--negative_weight', type=float, default=0.05,
在第100轮时结果如下：
R@20=0.0764
R@50=0.1323
N@20=0.0367
N@50=0.0511
看起来比SelfCF好很多？🤔
R@20=0.0509
R@50=0.0913
N@20=0.0250
N@50=0.0350

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

代码就还是github上的代码

嗯，了解。 您之前的数据是用last one，现在是用global-time line分隔，这个对程序上没有影响吗？

没影响，只要把训练集测试集放在目录下，就可以直接跑了，
你的数据我也已经改成我这边可以直接用的格式上传了，https://github.com/chenchongthu/ENMF/tree/master/data/game

好的，非常感谢！

[chenchongthu]

所以我比较好奇跟selfCF的结果差异如何？可否给我一份你的分隔好训练集和测试集的数据呢？

附件中是 amazon-games的数据5-core处理完的。
x_label列是train/valid/test (0/1/2) 的标记，这个数据分隔是按全局时间序来的（SelfCF一样的）。您那边可以测试一下看看效果。
games_processed.csv

谢谢，我大概跑了一下，
parser.add_argument('--dropout', type=float, default=0.5,
help='dropout keep_prob')
parser.add_argument('--negative_weight', type=float, default=0.05,
在第100轮时结果如下：
R@20=0.0764
R@50=0.1323
N@20=0.0367
N@50=0.0511
看起来比SelfCF好很多？🤔
R@20=0.0509
R@50=0.0913
N@20=0.0250
N@50=0.0350

嗯，这个结果确实不错。 能分享一下代码不？ 谢谢啦！ 您那边还是tensorflow吗？~

代码就还是github上的代码

嗯，了解。 您之前的数据是用last one，现在是用global-time line分隔，这个对程序上没有影响吗？

没影响，只要把训练集测试集放在目录下，就可以直接跑了，
你的数据我也已经改成我这边可以直接用的格式上传了，https://github.com/chenchongthu/ENMF/tree/master/data/game

好的，非常感谢！

不客气~随时交流