普通人

Transformer 笔记

RNN 介绍 RNN 实际完成的就是从一个序列到另一个序列。对于自然语言,序列的单位就是一个词,序列中的某个词 t 有一个隐藏状态 $h_t$ ,它是由 t 本身和前一个词的隐藏状态 $h_{t-1}$ 作为参数来生成的,所以该隐藏状态能够包含之前所有词的信息(上下文)。 缺点: 训练时较难进行并行化处理,无法充分利用 GPU。 当上下文信息很长时,隐藏状态需要占用大量内存空...

游戏回忆录其一:《To The Moon(去月球)》

“通关《To The Moon》的那个下午是我人生中最美好的下午” ——某网易云用户 简评 游戏时长:4 小时 评分:无 亮点:音乐、剧情 这部游戏使用简单的画面、触动心灵的音乐讲述了一个感人至深的关于遗忘和孤独的故事——遗忘是残酷的,但孤独并不是结局。 我无法为这款游戏打出评分,这个游戏在我心目中的不同于任何一款其他游戏,它更像是一部用游戏作为载体的电影,或者说它...

使用 constexpr 将 C++ 常量对象放到 rodata 段中

问题 在内存受限条件下,我们希望将一些常量对象放在 text 或 rodata 这种只读段中,而不是 data 或 bss 段,再搭配 XIP 技术来节省内存空间。见一文看懂内存分段。 在 C 语言中实现该效果非常容易,只需将在声明全局变量时加上 const 修饰符,常见的编译器一般会将该变量放置在只读段中。 在 C++ 语言中,GCC 编译器的行为不同,对于声明为 const 的全局...

© Kai. 保留部分权利。

浙ICP备20006745号-2,本站由 Jekyll 生成,采用 Chirpy 主题。