阿里140亿大模型开源！10项任务超340亿Llama 2，Demo在线可玩

萧箫发自凹非寺
量子位 | 公众号 QbitAI

阿里又开源大模型了！

这次是纯粹的大语言模型，相比上一次的70亿，新模型的参数量来到了140亿。

它名叫Qwen-14B，一上来就在一系列任务榜单中全部取得了第一，直接超过了Meta的340亿参数Llama 2版本。

Qwen-14B的训练数据达到3万亿tokens，不仅中英文都来得，序列长度也达到了8192。

用法也是老样子，完全开源，而且免费可用，目前在魔搭社区上已经可以试玩到Demo版本。

看起来，阿里的Qwen颇有点对标Meta的Llama，要搞出一整套“国内大模型开源全系列”那味了。

那么，Qwen-14B的效果究竟怎么样呢？我们这就试一试。

10个榜单超越340亿Llama 2

先来看看Qwen-14B的整体表现如何。

虽然Llama 2取得了一系列不错的“战绩”，不过至少官方提供的版本中，还不太具备说中文的能力。

因此，我们先来看看Qwen-14B的中文能力如何，然后再试试它在其他学科上的水平。

老样子，弱智benchmark送上：

看起来Qwen-14B也能准确应对。稍微难点的中文理解题：

感觉还不错，顺便纠正了我的语病（手动狗头）。

那么，数学题表现如何呢？普通的鸡兔同笼试试：

表现也中规中矩。再试试稍微难一点的逻辑推理题，之前有人测试发现，60个大模型全部做错了。

问题如下：

Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?
莎莉（一个女孩）有3个兄弟。每个兄弟有2个姐妹。所以莎莉有几个姐妹？

PS:这道题的正确答案是1。

在做错的一系列大模型中，包括GPT-4和Claude 2，也包括Llama 2：

很遗憾，这里Qwen-14B也没做出来。

不过它的代码能力还可以，例如让写一下贪吃蛇的代码：

它很快给出了一个完整版的贪吃蛇代码出来，带注释那种：

import random

# 初始化蛇的初始位置和长度
snake = [(0, 0)]
snake_length = 1

# 初始化食物的位置
food = (random.randint(0, 10), random.randint(0, 10))

# 初始化游戏的分数
score = 0

# 初始化游戏的结束标志
game_over = False

# 游戏主循环
while not game_over:

# 打印游戏界面
for i in range(11):for j in range(11):if (i, j) in snake:print("O", end="")elif (i, j) == food:print("F", end="")else:print(".", end="")print()

    # 获取用户的输入
    direction = input("Enter direction (up, down, left, right): ")

    # 更新蛇的位置
    if direction == "up":
        snake.insert(0, (snake[0][0], snake[0][1] - 1))elif direction == "down":
        snake.insert(0, (snake[0][0], snake[0][1] + 1))elif direction == "left":
        snake.insert(0, (snake[0][0] - 1, snake[0][1]))elif direction == "right":
        snake.insert(0, (snake[0][0] + 1, snake[0][1]))

        # 更新蛇的长度
        snake_length += 1

    # 如果蛇吃到了食物，更新食物的位置和分数
    if snake[0] == food:
        food = (random.randint(0, 10), random.randint(0, 10))
        score += 1

        # 如果蛇撞到了墙或者自己的身体，游戏结束
        if snake[0][0] < 0 or snake[0][0] >= 11 or snake[0][1] < 0 or snake[0][1] >= 11 or snake[0] in snake[1:]:
        game_over = True

        # 打印游戏的分数
        print("Score: ", score)

        # 打印游戏结束的消息
        print("Game over!")