讯飞2020年事件提取比赛第一名-属性提取

2022-08-09

引言

这是第三篇文章，和第二篇本质没有顺序之分，上一篇是讯飞2020年事件提取比赛第一名-主客体提取。

1. 跑通代码

只需要改动task_type，如下：

args = TrainArgs().get_parser()
args.gpu_ids = '0'
args.mode = "train"
args.raw_data_dir = './data/final/raw_data'
args.mid_data_dir = './data/final/mid_data'
args.aux_data_dir = "./data/final/preliminary_clean"
args.bert_dir = '/home/yuzhang/PycharmProjects/xf_event_extraction2020Top1/bert/torch_roberta_wwm'
args.output_dir = './out'
args.bert_type = 'roberta_wwm'
args.task_type = 'attribution'
args.max_seq_len = 320
args.train_epochs = 6
args.train_batch_size = 3
args.lr = 2e-5
args.other_lr = 2e-4
args.attack_train = "pgd"
args.swa_start = 4
args.eval_model = True
args.enhance_data = True
args.use_trigger_distance = True
args.use_distant_trigger = True

2. 模型结构

3. 模型结构

AttributionClassifier(
  (bert_module): BertModel()
  (dropout_layer): Dropout(p=0.1, inplace=False)
  (pooling_layer): AdaptiveMaxPool1d(output_size=1)
  (tense_classifier): Linear(in_features=2304, out_features=4, bias=True)
  (polarity_classifier): Linear(in_features=2304, out_features=3, bias=True)
  (criterion): CrossEntropyLoss()
)

4. 整体流程

根据挑战可知事件属性抽取分成两部分：

极性分为：肯定、否定、可能；
时态分为：过去、现在、将来、其他。

这俩分别对应tense_classifier和polarity_classifier。

1. 输入句子，拿到bert output

2、做动态池化

在属性分类优化ppt那页，作者认为：

1	能决定事件属性的词大多存在触发词左右，故舍弃CLS中的全局特征，采用trigger左右两端动态池化特征作为全局特征；

具体做法即以触发词所在位置为准，设置window_size=20，只考虑这个范围内的bert output。

示例：

# 假设爱是trigger word。
input = ['我', '爱', '你', '北', '京', '。', ..., '你', '好', '呀']
mask =  [1, 0, 1, 1, 1, 1, ..., 0, 0,0] # 超过window_size就设置为0
# 即除这些mask外的都设置为-math.inf
bert_output.fill(~mask, -math.inf)

3、获取window_size内最大的feature


# 下面三步就是这面示例
seq_out = torch.transpose(seq_out, -1, -2)  # (bs, hidden, seq_len)
pooling_masks = torch.unsqueeze(pooling_masks, 1)
seq_out = seq_out + (1 - pooling_masks) * (-1e7)  # mask 无关区域

# 这里拿到max,这里看备忘那里的AdaptiveMaxPool1d
pooled_out = self.pooling_layer(seq_out).squeeze(-1)

4、和trigger feature进行concat

1 2	logits = torch.cat([pooled_out, trigger_label_feature], dim=-1)

5、整体forward代码

bert_outputs = self.bert_module(
    input_ids=token_ids,
    attention_mask=attention_masks,
    token_type_ids=token_type_ids
)

seq_out = bert_outputs[0]
# 拿到trigger feature
trigger_label_feature = self._batch_gather(seq_out, trigger_index)

trigger_label_feature = trigger_label_feature.view([trigger_label_feature.size()[0], -1])

# 做动态池化
seq_out = torch.transpose(seq_out, -1, -2)  # (bs, hidden, seq_len)
pooling_masks = torch.unsqueeze(pooling_masks, 1)
seq_out = seq_out + (1 - pooling_masks) * (-1e7)  # mask 无关区域

pooled_out = self.pooling_layer(seq_out).squeeze(-1)

# 合并两个feature
logits = torch.cat([pooled_out, trigger_label_feature], dim=-1)

polarity_logits = self.polarity_classifier(self.dropout_layer(logits))
tense_logits = self.tense_classifier(self.dropout_layer(logits))

out = (torch.softmax(polarity_logits, dim=-1), torch.softmax(tense_logits, dim=-1),)

if labels is not None:
    labels = labels.long()

    tense_loss = self.criterion(tense_logits, labels[:, 0])
    polarity_loss = self.criterion(polarity_logits, labels[:, 1])

    loss = polarity_loss + tense_loss

    out = (loss,) + out

return out

5、值得注意的点

核心在于作者的这句话：

1	能决定事件属性的词大多存在触发词左右，故舍弃CLS中的全局特征，采用trigger左右两端动态池化特征作为全局特征；

比如我们可以这么做，直接拿[CLS]位置，然后输入两个linear(一个极性，一个时态)，分别拿到各自loss，就ok了。

但是作者这里没有拿[CLS]来代表整个句子，因为作者认为能决定事件属性的词大多存在触发词左右。所以他这里采用了以trigger左右window_size=20来缩减范围。

从个人角度来讲，他这种方式第一能加快速度，第二是可能会有更好的泛化效果。

因为打比赛这种东西，恨不得啥奇淫巧技都上。但是这种思想可以借鉴。

备忘

关于AdaptiveMaxPool1d的用法

a = torch.arange(24, dtype=torch.float32).view(2,3,4)
a
Out[11]: 
tensor([[[ 0.,  1.,  2.,  3.],
         [ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.]],
        [[12., 13., 14., 15.],
         [16., 17., 18., 19.],
         [20., 21., 22., 23.]]])

torch.functional.F.max_pool1d(a,kernel_size=4)
Out[12]: 
tensor([[[ 3.],
         [ 7.],
         [11.]],
        [[15.],
         [19.],
         [23.]]])
torch.nn.AdaptiveMaxPool1d(1)(a)
Out[13]: 
tensor([[[ 3.],
         [ 7.],
         [11.]],
        [[15.],
         [19.],
         [23.]]])