​​​​​​​      
今天是9月20日,星期三,北京天气晴。天已凉。

上篇文章,我们讲了使用langchain进行行业问答的实现核心步骤,涉及到文本解析、标准化以及文本切割,这些连同文本向量化一同组成了技术核心。

这个核心中,文档智能占据了很大一块,即解决解析和标准化的问题。

那么,我们是否也可以反向操作,看看文档智能如何能够利用大模型,比如chatgpt进行反向生成,做解析的逆操作,实现包括PPT自动生成,excel的自动生成,思维导图以及可视化图表的自动化生成?

答案是肯定的。

当我们以chatppt,chatexcel为关键词在搜索引擎,在guthub中进行搜索时,能得到多种结果。

那么,作为demo级别的它们又是如何做的,根本原理是什么?实现过程中用到的组件包括哪些?这些都是值得探究的话题。

因此,本文就以chatppt为例,跟大家聊聊,供大家一起参考并深入思考。

一、ChatPPT的实现思路

ChatPPT,旨在解决的问题是,自动地生成PPT文本。

1、先看有哪些生成场景

那么会有哪些场景?如果以输入输出来分:

输入的可以是一个用户的主题,例如输入“北京的旅游攻略”,直接输出一份PPT;

输入的可以是一个用户的主题以及主题的大纲,大纲可粗可细,粗则直接放一级标题,细则给出每个章节的层级标题目录。

这两个是发散性生成的范畴,以点扩面。另外一种是总结式,即输入的是一堆文档,提取其中的要点以及要点的内容,逐步地形成一级标题,二级标题,三级标题等。

2、再看实现这套需要哪些组件

无论是上面说的那种,都不在乎包括三个要素:

一组或者多组生成内容的prompt提示。用于指引大模型围绕给定主题、大纲、文章内容生成相关PPT章节的填充内容,这个一般需要我们进行人工设定,并且不同的prompt提示对文本生成质量影响较大。

一个足够好的生成模型。生成模型需要能够准确地理解指令,产生正确的内容,也能准确地按照特定格式地输出内容,以方便快速地获取相应内容。例如,根据主题生成大纲时,需要按照1、2、3等方式生成,如果生成每个章节的一级标题。二级标题时通常会要求使用json格式或者特殊符号作为分割来返回。这些都是要生成模型对结果形式指令有较好的遵循能力。比如ChatGPT、GPT4,或者经过这类技能特殊微调的大模型。

一个可以与PPT文档进行交互的程序组件。这个组件可以执行PPT文档生成过程中所需要的各种操作,包括文档创建、页面的新增、页面内容的编排(例如标题、一级一级、二级标题),页面图片的插入等。以python为例,可以使用python-pptx来实现,该组件提供了许多基础的操作接口。

3、有哪些可以注意的点

当我们有了上述3个重要组件时【理想情况下】,就可以实现这一工作,但为了保证较好地效果,我们可以尝试如下方法【从原理上来说】:

不能将宝押在生成模型上,为了得到较好的结果,可以制定完备的生成流程,例如先让其生成大纲,然后再逐步遍历大纲让它生成一级二级标题,再根据一级二级标题生成指定的内容,从单步变成多步。这个是产品化的思路,先流程化,然后再让技术做实现。

这种方式的好处在于,好处在于给到生成模型的压力降低,尤其是对其输出格式的容错率较高

这种做法存在很大的问题就是,拆成多步会引来生成的次数倍增,是一种时间换质量的做法。

另一个,就是单纯使用python–pptx生成的文档很干瘪,很粗糙。


二、一个开源的Demo级PPT生成案例

项目地址:https://github.com/HuiMi24/chatppt

该项目整体实现实现如下,流程较为清晰: 先利用chatppt(topic, pages, api_key, language),生成所需要的ppt内容,再利用 generate_ppt(ppt_content)生成指定的ppt文档。

def main(topic: str, pages: int, api_key: str, language: str, template_path=None):
    robot_print("Hi, I am your PPT assistant.")
    robot_print("I am powered by ChatGPT")
    # robot_print("If you have any issue, please contact hui_mi@dell.com")
    ppt_content = chatppt(topic, pages, api_key, language)
    generate_ppt(ppt_content)

1、引入相关组件

相关组件包括pptx,用于操作ppt;openai,用于文本内容生成;

import openai
import json
import argparse
import time
import random
from pptx import Presentation

2、使用openai根据指定的主题topic来生成指定pages页数和language语言的ppt文档

可以看到,其中的核心是生成的输出格式,是严格的json格式,这个对应于上面的输出格式遵循,是个很难控制的点,本地测试之后,发现,基于chatglm6b生成的数据,很容易出现解析失败的情况。

此外,对于prompt,设计的也很简单;

  messages = [
        {
            "role""user",
            "content": f"I'm going to prepare a presentation about {topic}, please help to outline detailed about this topic, output with JSON language with follow in format {output_format}, please help to generate {pages} pages, the bullet for each as much as possible, please only return JSON format and use double quotes, please return the content in {language}",
        },
    ]

该部分完整的内容如下:

def chatppt(topic: str, pages: int, api_key: str, language: str):
    language_map = {"cn""Chinese""en""English"}
    language = language_map[language]

    ## 输出的格式,对大模型要求较高
    output_format = {
        "title""example title",
        "pages": [
            {
                "title""title for page 1",
                # "subtitle": "subtitle for page 1",
                "content": [
                    {
                        "title""title for bullet 1",
                        "desctription""detail for bullet 1",
                    },
                    {
                        "title""title for bullet 2",
                        "desctription""detail for bullet 2",
                    },
                ],
            },
            {
                "title""title for page 2",
                # "subtitle": "subtitle for page 2",
                "content": [
                    {
                        "title""title for bullet 1",
                        "desctription""detail for bullet 1",
                    },
                    {
                        "title""title for bullet 2",
                        "desctription""detail for bullet 2",
                    },
                ],
            },
        ],
    }

    ## 构造使用的prompt,这里用的是一步生成答案;
    messages = [
        {
            "role""user",
            "content": f"I'm going to prepare a presentation about {topic}, please help to outline detailed about this topic, output with JSON language with follow in format {output_format}, please help to generate {pages} pages, the bullet for each as much as possible, please only return JSON format and use double quotes, please return the content in {language}",
        },
    ]

    robot_print(f"I'm working hard to generate your PPT about {topic}.")
    robot_print("It may takes about a few minutes.")
    robot_print(f"Your PPT will be generated in {language}")

    openai.api_key = api_key
    completion = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=messages)
    try:
        content = completion.choices[0].message.content
        # just replace ' to " is not a good soluation
        # print(content)
        content = json.loads(content.strip())
        return content
    except Exception as e:
        print("I'm a PPT assistant, your PPT generate failed, please retry later..")
        exit(1)
        # raise Exception("I'm PPT generate assistant, some error happened, please retry")

3、多模型生成的结果进行解析,生成ppt

利用python-pptx进行逐页内容的生成,对于每一页slide,有包括title and subtitle、Pic with caption等不同位置的内容,根据实现得到的页面内容进行解析即可。

def generate_ppt(content: str, template=None):
    ppt = Presentation()
    if template:
        ppt = Presentation(template)

    # Creating slide layout
    first_slide_layout = ppt.slide_layouts[0]

    # """ Ref for slide types:
    # 0 ->  title and subtitle
    # 1 ->  title and content
    # 2 ->  section header
    # 3 ->  two content
    # 4 ->  Comparison
    # 5 ->  Title only
    # 6 ->  Blank
    # 7 ->  Content with caption
    # 8 ->  Pic with caption
    # """

    slide = ppt.slides.add_slide(first_slide_layout)
    slide.shapes.title.text = content.get("title""")
    slide.placeholders[1].text = "Generate by ChatPPT"

    pages = content.get("pages", [])
    robot_print(f"Your PPT have {len(pages)} pages.")
    for i, page in enumerate(pages):
        page_title = page.get("title""")
        robot_print(f"page {i+1}: {page_title}")
        bullet_layout = ppt.slide_layouts[1]
        bullet_slide = ppt.slides.add_slide(bullet_layout)
        bullet_spahe = bullet_slide.shapes
        bullet_slide.shapes.title.text = page_title

        body_shape = bullet_spahe.placeholders[1]
        for bullet in page.get("content", []):
            paragraph = body_shape.text_frame.add_paragraph()
            paragraph.text = bullet.get("title""")
            paragraph.level = 1

            paragraph = body_shape.text_frame.add_paragraph()
            paragraph.text = bullet.get("description""")
            paragraph.level = 2

    ppt_name = content.get("title""")
    ppt_name = f"{ppt_name}.pptx"
    ppt.save(ppt_name)
    robot_print("Generate done, enjoy!")
    robot_print(f"Your PPT: {ppt_name}")

4、生成效果

该项目中给出了以“What is ChatPPT”、“AWS”是什么为例生成的ppt效果:

该方式提供了一个很简单的例子,基本可以串通流程,但效果有限,可以从prompt构造方式等多个方面进行优化,感兴趣的可以在此基础上进一步开发。

参考文献

本文主要介绍了chatppt实现的技术原理、三个必备要素以及一个开源的demo级项目,从中我们可以看到,决定最终效果的,是文本内容的生成,这个受限于prompt构造的方式以及生成模型的生成能力。

感兴趣的朋友可以自己玩一玩,并对优化点展开自己的思考,这个事情十分有趣。

参考文献

1、https://github.com/HuiMi24/chatppt

关于我们

老刘,刘焕勇,NLP开源爱好者与践行者,主页:https://liuhuanyong.github.io。

老刘说NLP,将定期发布语言资源、工程实践、技术总结等内容,欢迎关注。

对于想加入更优质的知识图谱、事件图谱实践、相关分享的,可关注公众号,在后台菜单栏中点击会员社区->会员入群加入。

这些问题十分有趣,我们把其中一些比较有趣的内容出来,供大家一起参考。
​​​​​​​