Мерц резко сменил риторику во время встречи в Китае09:25
Rank-3 factorization, shared-A tied-KV, rank-2 attn out, tied embed
,更多细节参见搜狗输入法下载
�@�����ɂ����A�e�T�u�G�[�W�F���g�͏W���������Ԃ��ۂ��A�Ǝ��̃R���e�L�X�g���Ǘ����邽�߃p�t�H�[�}���X�̒ቺ���N���Ȃ��A�Ƃ����܂��B
在我的演示应用中,我使用了 284 个示例,每个功能大约 90-100 个。多样性很重要:不仅仅是重复 94 次“把它变成红色”,而是不同的表达方式,例如“改成红色”、“设置背景为红色”、“我想要一个红色背景”、“请把背景变成红色”等等。模型需要了解真实用户是如何表达请求的。
体感上,Ring 更像“严苛的资深 Reviewer”,Tbox 更像“把结论写成可传播资产的编辑部”。