1分钟飞快变动用于网页内容提取的xslt,python生成xml测试报告

思路:

1分钟快速变动用于网页内容提取的xslt,具体内容如下

Xml生成word总结

  
使用xml生成word的中央步骤在《使用xslt转化xml数据形成word文档导出.doc》中验证比较清楚了。可是其中的底细尚未说到,由此本身折腾了两日总算成功了。以下是自身在使用进度中相遇的题材要点:

 

1,项目背景

在Python即时网络爬虫项目表明一文大家说过要做一个通用的互联网爬虫,而且能节约程序员大半的光阴,而关键难题就是提取器使用的抓取规则须求火速生成。在python使用xslt提取网页数据一文,大家曾经见到这一个提取规则是xslt程序,在示范程序中,直接把一长段xslt赋值给变量,可是并未讲这一段xslt是怎么来的。

网友肯定会困惑:这几个xslt这么长,编写不是要花不短日子?

实际景况是,那些xslt是通过GooSeeker的MS谋数台的直观标注成效自动生成的,熟习的话1分钟就化解了。

1.施用xslt样式,那样可以很好的和xml结合,做出精粹的告诉

1、项目背景

务必利用word 2003.

1.上边通过例子演示:

澳门葡京备用网址 1

澳门葡京备用网址 2

 

概括 的xml以及对应的xml框架

 

2.各自创立03本子的word文档log_03.doc和o7版本的word文档log_07.docx,并都接纳以上生成的log.xsd框架

澳门葡京备用网址 3

 

个别另存为log_03_doc.xml,log_07_doc.xml。

3.
用log_03_doc.xml,log_07_doc.xml生成xslt文件log_03.xslt和log_07.xslt。

澳门葡京备用网址 4

 

1分钟飞快变动用于网页内容提取的xslt,python生成xml测试报告。log_03_doc.xml生成log_03.xslt时会弹出上述对话框,仅仅选中xml中指定的namespace就可以了。

 澳门葡京备用网址 5

 

log_07_doc.xml生成log_07.xslt时会弹出以上对话框,就是从未xml中指定的namespace,所有无论怎么选,生成的xslt都不是大家想要的。

2,MS谋数台能做什么样

MS谋数台有个图形化界面,把一多级html解析工具集成在同步,包罗:
1)基于直观标注自动生成XSLT
2)即时测试XSLT的不错
3)树状的DOM结构显示
4)剖析某个DOM节点的习性
5)为DOM节点生成XPath,可挑选稳定到class、或许id、大概相对定位
6)根据xpath搜索DOM节点

MS谋数台界面分成三局地:DOM数窗口、内嵌浏览器窗口、工作台。在工作台上定义xslt转换规则。

2.生成xml结构

在《Python即时网络爬虫项目表达》一文大家说过要做一个通用的互连网爬虫,而且能省去程序员大半的光阴,而关键难点就是提取器使用的抓取规则须要神速转移。在python使用xslt提取网页数据一文,我们早就观望那些提取规则是xslt程序,在演示程序中,直接把一长段xslt赋值给变量,不过并未讲这一段xslt是怎么来的。

不要选其余namespace

澳门葡京备用网址 6

log_03_doc.xml生成log_03.xslt时会弹出上述对话框,不要随便再选其余namespace。
生成的xslt截图

 

 澳门葡京备用网址 7

 

澳门葡京备用网址 8

设若再选中其余namespace,生成的xslt也不是大家要的。生成xslt截图

澳门葡京备用网址 9

明朗跟下面的不雷同。

 澳门葡京备用网址 10

 

 澳门葡京备用网址 11

 

 

 

3,用MS谋数台生成XSLT

假若大家要抓取论坛帖子列表,上面一步步上课操作方法:

第一步,打开GooSeeker的MS谋数台,输入要抓取的网址
第二步,在MS谋数台的浏览器呈现窗口里,直接选取要提取的内容,并且起个名字,点击确认

澳门葡京备用网址 12

第三步,点击工作台的“测试”按钮,xslt就生成了,在“数据规则”窗口浮现出来

澳门葡京备用网址 13

经过上述的操作,不用编程,用图形化界面直接在页面上标注,1分钟就足以生成xslt

 

网友肯定会可疑:这几个xslt这么长,编写不是要花相当短日子?

插入图片

要促成插入图片,须要修改log_03.doc.

澳门葡京备用网址 14

双重生成log_03.xslt,并修改<ns0:image>节点。

1、删除所有v:shapetype 节点

2、删除 
<w:binData节点中的数据,并添加<xsl:value-ofselect=”.”/>

澳门葡京备用网址 15

修改之后

澳门葡京备用网址 16

3、修改v:shape 节点,去掉 style 属性,增加xsl 节点,如下:

澳门葡京备用网址 17

澳门葡京备用网址 18

 

4、去掉w:pict 节点后边的带<xsl:value-ofselect=”.”/>的富有节点

事例中去掉了之类代码:

<w:r>

         <w:t>

           <xsl:value-of select=”.” />

         </w:t>

  </w:r>

借使没做第四步,则在word中会出现图片的二进制代码。

 

 

例子:

  QDomDocumentdom;

    QDomProcessingInstructionproc =

       dom.createProcessingInstruction(

       “xml”,

       “version=\”1.0\”standalone=\”no\””

       );

    dom.appendChild(proc);

 

    QDomElementr =dom.createElement(“log”);

    dom.appendChild(r);

    r.setAttribute(“xmlns”,”logs”);

    QDomElementuserNode =dom.createElement(“user”);

    r.appendChild(userNode);

    QDomTextuserTextNode =dom.createTextNode(“john”);

    userNode.appendChild(userTextNode);

 

    QDomElementloginNode =dom.createElement(“login”);

    r.appendChild(loginNode);

    QDomTextloginTextNode =dom.createTextNode(“2015-01-1811:10:12”);

    loginNode.appendChild(loginTextNode);

 

    QDomElementlogoffNode =dom.createElement(“logoff”);

    r.appendChild(logoffNode);

    QDomTextlogoffTextNode =dom.createTextNode(“2015-01-1813:10:12”);

    logoffNode.appendChild(logoffTextNode);

 

    QDomElementimageNode =dom.createElement(“image”);

    r.appendChild(imageNode);

    QStringpng;

    FILE*fpng =fopen(“2.jpg”,”rb”);

    if( fpng )

    {

       encode(fpng,png,0 );

       fclose(fpng );

    }

    imageNode.setAttribute(“style”,”width:300pt;height:300pt” );

    charszBuffer[256];

    //sprintf(szBuffer,”wordml://5.png”);

    imageNode.setAttribute(“key”,”2.jpg” );

    QDomTextlogonNodeTextNode =dom.createTextNode(png);

    imageNode.appendChild(logonNodeTextNode);

 

 

 

    QStringxml =dom.toString();

    QFilefile(“log.xml”);

    if(file.open(QIODevice::WriteOnly))

    {

       QTextStreamoutput( &file);

       output.setCodec(QTextCodec::codecForName(“UTF-8”));

       //QStringcontent = dom.toString();

       output<< xml;

澳门葡京备用网址,       file.close();

    }

 

 

    QStringsrc =”msxsl.exe”;

    QStringsrc1 =”log.xml”;

    QStringsrc2 =”log_03.xslt”;

    QStringsrc3 =QString(“122″)+”.doc”;

 

    QProcess*proce =newQProcess( );

    QStringListargumentList;

    argumentList.append(src1 );

    argumentList.append(src2 );

    argumentList.append(“-o”);

    argumentList.append(src3 );

 

    proce->start(src, argumentList );

    bool ret =proce->waitForStarted( 5000 );

 澳门葡京备用网址 19

4,如何利用XSLT

在python使用xslt提取网页数据一文,我们把生成xslt作为一个字符串交给程序,给人觉得好像一转眼回到了史前文明,前边讲的那么好,最终用了很原始的正片。其实不然,那一个只是一个例证。在python即时互连网爬虫项目:
内容提取器的定义一文已经初见端倪了,有三种流入xslt的艺术,最自动化的艺术是api,将在后续小说中详尽讲解。

xslt样式是个很有意思,也很强大的,今后用的很多,很有益就能做出一个杰出的告知,能够百度时而,语法极度简单,跟写html大致的.

实在情状是,那一个xslt是因而GooSeeker的MS谋数台的直观标注成效自动生成的,精晓的话1分钟就解决了。

5,文档修改历史

2016-05-26:V2.0,增补文字表达
2016-05-28:V3.0,扩充第二章

在此地可以定制好,大家要生成告诉,是怎么样样子的,然后在从xml获取数据.

2、MS谋数台能做什么

<?xml version="1.0" encoding="utf-8"?>

<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">

<xsl:template match="/">
 <html>
 <Head>
        <style type="text/css">

          body {
          background:#fff;
          margin:0;
          padding:40px 20px;
          font-family: "Arial", Arial, Sans-serif;
          font-size: 16px;
          color:#000;
          }

          table {
          margin:5px 5px 0;
          border:0px solid #222;
          font-size: 0.8em;
          }

          td {
          margin:5px 5px 0;
          padding:10px 10px 10px 10px;
          vertical-align:text-top;
          border:1px solid #222;
          border-width:1px 1px 1px 1px;
          }

          td.light {
          border:0px solid #222;
          }

          td.number {
          text-align:right;
          }

          td.status {
          text-align:right;
          vertical-align:text-bottom;
          }

        </style>


 </Head>
 <body>
   <!--OVER RESULT -->
   <xsl:variable name="OVER_STATUS" select="REPORT/OVER_STATUS"/>
   <xsl:variable name="STATUS" select="REPORT/LOG_ENTRY/STATUS"/>



   <h2>自动化测试执行报告</h2>
   <!--table -->
   <table border="1">
     <!--all result value-->
     <tr bgcolor="white" height = "35">
        <td>Overall Test Result</td>
        <td><xsl:value-of select="$OVER_STATUS"/></td>
        <td colspan="2"> </td>
     </tr>

     <tr bgcolor="#D8BFD8" height = "35">
       <th>执行时间</th>
       <th>单步结果</th>
       <th>响应CODE</th>
       <th>Response信息</th>
     </tr>



       <!--select font color -->
       <xsl:variable name="fontColor">
           <xsl:choose>
               <xsl:when test="$STATUS = FAILED or $STATUS = PASSED">
                   <xsl:text>white</xsl:text>
               </xsl:when>
               <xsl:otherwise>black</xsl:otherwise>
           </xsl:choose>
       </xsl:variable>

       <!--background color-->
       <xsl:variable name="backgroundColor">
           <xsl:choose>
               <xsl:when test="$STATUS = 'FAILED'">
                   <xsl:text>rgb(255,0,0)</xsl:text>
               </xsl:when>
               <xsl:when test="$STATUS = 'PASSED'">
                   <xsl:text>rgb(60,179,113)</xsl:text>
               </xsl:when>
               <xsl:otherwise>
                   <xsl:text>white</xsl:text>
               </xsl:otherwise>
           </xsl:choose>
       </xsl:variable>

       <!--log entry-->
       <xsl:for-each select = "REPORT/LOG_ENTRY">


           <tr>
               <td><xsl:value-of select="EXECUTION_TIME"/></td>
               <td bgcolor="{$backgroundColor}"><xsl:value-of select="STEP_RESULT"/></td>
               <td><xsl:value-of select="COMPONENT_NAME"/></td>
               <td><xsl:value-of select="STEP_DESCRIPTION"/></td>
           </tr>
       </xsl:for-each>

       <tr bgcolor="white">
           <font color="{$fontColor}">
               <td colspan="4">Overall Test Result:<xsl:value-of select="$OVER_STATUS"/></td>
           </font>
       </tr>
   </table>
 </body>
 </html>
</xsl:template>
</xsl:stylesheet>

MS谋数台有个图形化界面,把一文山会海html解析工具集成在一块儿,包括:

xml是要坚守,xslt定制的构造举行转移,或许换句话说,xslt样式要按照xml结构去做

  • 根据直观标注自动生成XSLT
  • 立即测试XSLT的不利
  • 树状的DOM结构呈现
  • 剖析某个DOM节点的特性
  • 为DOM节点生成XPath,可挑选稳定到class、或然id、或许相对定位
  • 根据xpath搜索DOM节点

xml结构

MS谋数台界面分成三局地:DOM数窗口、内嵌浏览器窗口、工作台。在工作台上定义xslt转换规则。

REPORT/LOG_ENTRY

3、用MS谋数台生成XSLT

REPORT下OVER_STATUS节点,那些是任何报告的结果,唯有当所有条条框框为passed时才会为passed

若果大家要抓取论坛帖子列表,上边一步步助教操作方法:
先是步,打开GooSeeker的MS谋数台,输入要抓取的网址
其次步,在MS谋数台的浏览器显示窗口里,直接接纳要提取的情节,并且起个名字,点击确认

每个LOG_ENTRY节点,代表一行数据

澳门葡京备用网址 20

包括:

其三步,点击工作台的“测试”按钮,xslt就生成了,在“数据规则”窗口体现出来

STATUS单行数据举办景况

澳门葡京备用网址 21

EXECUTION_TIME执行时间

透过上述的操作,不用编程,用图形化界面直接在页面上标注,1分钟就能够生成xslt

STEP_RESULT单步执行结果

4、如何使用XSLT

COMPONENT_NAME组件名称,

在python使用xslt提取网页数据一文,大家把生成xslt作为一个字符串交给程序,给人感觉好像一转眼回到了史前文明,前面讲的那么好,最后用了很原始的正片。其实不然,那多少个只是一个例证。在《python即时网络爬虫项目:
内容提取器的定义》一文已经初见端倪了,有三种流入xslt的主意,最自动化的主意是api,将在继续作品中详尽讲解。

STEP_DESCRIPTION步骤描述

5、文档修改历史

 

2016-05-28:V3.0,扩大第二章
2016-05-26:V2.0,增补文字表明

当然这么些都足以自已定义,可以友善增添或回落,然而xslt表中也要相对应的充实或调减

如上就是本文的全体内容,希望对我们的求学抱有扶助,也希望大家多多协理脚本之家。

<?xml version="1.0" encoding="utf-8"?>
    <?xml-stylesheet href="LOG.XSLT" type="text/xsl"?>
    <REPORT>
        <OVER_STATUS>PASSED</OVER_STATUS>
        <LOG_ENTRY>
            <STATUS>FAILED</STATUS>
            <EXECUTION_TIME>2017.06.15 15:57:16</EXECUTION_TIME>
            <STEP_RESULT>FAILED</STEP_RESULT>
            <COMPONENT_NAME>704</COMPONENT_NAME>
            <STEP_DESCRIPTION>{u'nextUrl': u'http://www.elong.com', u'message': u'\u9a8c\u8bc1\u7801\u9519\u8bef', u'code': u'704', u'success': False, u'isShowVerifyCode': True}</STEP_DESCRIPTION>
        </LOG_ENTRY>
        <LOG_ENTRY>
            <STATUS>FAILED</STATUS>
            <EXECUTION_TIME>2017.06.15 15:57:16</EXECUTION_TIME>
            <STEP_RESULT>FAILED</STEP_RESULT>
            <COMPONENT_NAME>704</COMPONENT_NAME>
            <STEP_DESCRIPTION>{u'nextUrl': u'http://www.elong.com', u'message': u'\u9a8c\u8bc1\u7801\u9519\u8bef', u'code': u'704', u'success': False, u'isShowVerifyCode': True}</STEP_DESCRIPTION>
        </LOG_ENTRY>
    </REPORT>

您大概感兴趣的小说:

  • python使用xslt提取网页数据的措施
  • 选用Python下的XSLT
    API举行web开发的大约教程
  • 一个用xslt样式将xml解析为xhtml的类TransformBinder(兼容FF和IE7.0)
  • 用xslt将xml解析成xhtml的代码
  • XSLT轻松入门第二章:XSLT的实例
  • python提取字典key列表的点子
  • Python完结从url中领到域名的两种艺术
  • python利用正则表明式提取字符串
  • python使用正则表明式提取网页URL的不二法门
  • Python举办数据提取的方法总括

 

下边上,生成xml的python代码,这一个成立xml结构就很不难了.

动用xml.dom.minidom就可以了,精晓几个要点很不难就创制一个xml

1,创制一个xml文档

import xml.dom.minidom as xmlDoc  #xmlDoc起的别名

xmldoc = xmlDoc.Document

 

2.因为大家要利用xslt样式,所以呢.

创建的xml第一行是xml头    <?xml version=”1.0″ encoding=”utf-8″?>
那样python默许已经有了,就不用大家创立了,那么

其次行,大家要写样式头 <?xml-stylesheet href=”LOG.XSLT”
type=”text/xsl”?>   头中写了引用相同目录下的LOG.XSLT ,类型TEXT/XSL

要留意一点href属性不要写成那样D:\demo\LOG.XSLT
那样写会有难题,只要把那一个文件和xml放在同等目录就好了.

            #xml样式
            xlstNode = xmlD.createProcessingInstruction("xml-stylesheet","href=\"LOG.XSLT\" type=\"text/xsl\"")
            xmlD.appendChild(xlstNode)

3.创设一个REPORT根节点,你也足以起名ROOT,叫什么名字看您本人了

开创节点用,createElement,之后用appendChild增添节点到xml对象

            report = xmlD.createElement('REPORT')
            xmlD.appendChild(report)

4.随后创制其余节点,一样用createElement,但是如若节点下要扩展内容要用xmlDoc.createTextNode(‘passed’)

以下代码意思是:创造一个over_status的节点,节点文本为passed,然后,将此节点增加到根节点REPORT下

            overStatus = xmlD.createElement('OVER_STATUS')
            overStatus.appendChild(xmlD.createTextNode('PASSED'))
            report.appendChild(overStatus)

 澳门葡京备用网址 22

有上述4点,基本创造一个xml不成难题了.

 

 

 生成xml具体python代码:

以下代码创制根节点做为了一个单身的函数,之所以这么做因为要转移的报告,只创立一个根节点,和over_status
结果情状

任何累加的行放在了节点LOG_ENTRY下,一个根节点下可以有多个LOG_ENTRY节点……..一个LOG_ENTRY节点代码一行数据进行结果

#*_*coding:utf-8*_*

import xml.dom.minidom as xmlDoc
import os
import gl
import sys



class cREPORTXML(object):
    def __init__(self):
        self.__struct = self.createReportNode()

    #创建report节点
    def createReportNode(self):
        try:
            xmlD = xmlDoc.Document()

            #xml样式
            xlstNode = xmlD.createProcessingInstruction("xml-stylesheet","href=\"LOG.XSLT\" type=\"text/xsl\"")
            xmlD.appendChild(xlstNode)

            report = xmlD.createElement('REPORT')
            xmlD.appendChild(report)

            overStatus = xmlD.createElement('OVER_STATUS')
            overStatus.appendChild(xmlD.createTextNode('PASSED'))
            report.appendChild(overStatus)

            returnResult = []
            returnResult.append(xmlD)
            returnResult.append(report)
        except Exception,ex:
            return ex.message
        return returnResult


    def writeReport(self,execTime,stepResult,comName,stepDisc):
        #reportNodeList = self.createReportNode()

        entry = self.createLogEntry(self.__struct[0],execTime,stepResult,comName,stepDisc)
        self.__struct[1].appendChild(entry)
        self.writeXml(self.__struct[0],gl.reporterPath+'reportxml.xml')
        #self.writeXml(self.__struct[0],gl.reporterPath+'reportxml_%s.xml'%(gl.curTimeStr))
 #-------------创建xml格式-有多个相同的节点,并且该节点下有4个名称相同的子节点----------------
    def createLogEntry(self,docObj,executeTime,stepResult,componentName,stepDiscription):
        entry = docObj.createElement("LOG_ENTRY")

        status = docObj.createElement("STATUS")
        nodeExecuteTime = docObj.createElement("EXECUTION_TIME")
        nodeStepResult = docObj.createElement("STEP_RESULT")
        nodeComponentName = docObj.createElement("COMPONENT_NAME")
        nodeStepDiscription = docObj.createElement("STEP_DESCRIPTION")

        status.appendChild(docObj.createTextNode(stepResult))
        nodeExecuteTime.appendChild(docObj.createTextNode(executeTime))
        nodeStepResult.appendChild(docObj.createTextNode(stepResult))
        nodeComponentName.appendChild(docObj.createTextNode(componentName))
        nodeStepDiscription.appendChild(docObj.createTextNode(stepDiscription))

        entry.appendChild(status)
        entry.appendChild(nodeExecuteTime)
        entry.appendChild(nodeStepResult)
        entry.appendChild(nodeComponentName)
        entry.appendChild(nodeStepDiscription)
        return entry


    #参数,xml对象,准备存储xml文件路径,文件模式:读 and 写 (r and w)
    def writeXml(self,xmlDoc,xmlPath):
        f = open(xmlPath,"w")
        xmlDoc.writexml(f,indent='\t', addindent='\t', newl='\n', encoding="utf-8") #中间的加了一些格式符,这样生成的xml自动对齐格式
        f.close()




if __name__=='__main__':
    reportx =cREPORTXML()
    print  reportx.writeReport('20170602','PASSED','1-SETTEXT','AUTOMATION TEST')
    print  reportx.writeReport('20170606','FIELD','2-SETTEXT','AUTOMATION TEST')

 

 用ie打开xml报告,当然可以看来总计果呈现有点难点,这些不影响报告展现,代码中拍卖一下就好.

简言之的报告就完事了,追求八面玲珑的可以在细化一下,伸张部分其余新闻,调整一下颜色.

澳门葡京备用网址 23

 

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website