(编辑:jimmy 日期: 2024/10/30 浏览:2)
未经许可,不要转载
wx读书app是个不错的产品,用了蛮久,但最近发现其广告越来越多,免费书籍越来越少,甚至曾经看完的书,再看都收费了。
于是就想把曾经看过的书籍导出保存。经过N天的研究,终于成功了。只要能全本下载的书籍,就可以导出。
该app大部分代码都是使用objective-c语言开发,该语言是比较灵活的动态语言,因此比较好逆向。
本文主要以技术分享为主,也顺便总结记录下经验,对于实验结果,只要肯钻研,相信大家都能实现自己的目标。
硬件:Mac电脑(系统:MacOS 12.0.1)、 已越狱的iPhone6s(系统:iOS 13.6)
软件:XCode 13.1、 MonkeyDev(非越狱开发XCode插件)、 Sublime Text、 FinalShell(图形化ssh工具)、
Hopper Disassmembler、 某信读书.ipa(已脱壳,app版本:5.4.8)、真机调试的苹果证书
代码:QMUI框架(企鹅的)、SSZipArchive(zip解压缩开源代码)、从ipa中砸壳得到的头文件(非常有用,几乎等于看到了一半源代码)
关于越狱、ipa获取、ipa脱壳,非越狱开发调试等,大家可自行百度。
只有完全下载的书籍,才能导出epub,这里也是为了更方便的导出epub做准备。
思路分析:
我们知道,每月下载多于3次就会有弹窗限制。
按照正常的程序逻辑,每次开始下载时,都应该去服务器端验证是否已超过3次。
这里确实验证了,但是仅仅验证了次数,并没有对下载的url进行处理。
也就是说如果对下载url限制的话,超过3次,访问下载的url就应该提示错误。这里并没有限制。
因此,就有个漏洞:只要我们绕过下载次数的验证,就能访问到下载的url了,就可以下载了。
那么为什么企鹅的工程师不在下载url上面进行验证呢?
这是因为:下载书籍的操作,与读书时加载书籍的逻辑是完全一样的。
具体逻辑是怎样的,我们放到后面章节。
现在我们的策略就很清晰了:绕过下载次数的限制。
如何绕过呢?有几种方法
比如修改验证次数请求的返回值,改为不超过3次。
每次开始下载时,直接跳过验证。
这里使用直接跳过验证。(因为验证请求的返回函数,没有hook到)
下面分析下载函数调用过程:新建WeReadDev MonkeyDev工程,拖入脱壳的ipa文件,导入砸壳得到的所有.h头文件(方便搜索),运行,打开下载页面。
打开带有下载按钮的页面后,使用XCode的UI界面分析工具,分析下载按钮以及页面所在的控制器(MVC中的C)
选中【下载到本地】按钮,然后右侧导航栏,选择倒数第2个工具图标,查看按钮的属性,我们主要看按钮事件名以及所属的类名,
可以看到按钮事件的target在 WRReaderMoreOperationController 中,事件方法为 handleItemViewEvent
如下图:
d01.jpg
d01
接下来,我们按照点击的函数去顺腾摸瓜,找到下载的真正函数。因此打开Hopper,把xxx.ipa拖进去,搜索handleItemViewEvent方法。
很不幸,hopper中,居然没有该函数。如下图:
d02.jpg
d02
还记得砸壳出的所有头文件吗?我们去头文件中,看看有没有handleItemViewEvent。依然没有。
那我们搜下按钮的target类即:WRReaderMoreOperationController
可以看到该类是存在的,那么为什么按钮点击的方法却没有呢,原因:点击事件应该是父类的方法,因此,我们看看它的父类 QMUIMoreOperationController
看着名字就感觉很奇怪,WR我们可以猜测代表WeRead, QMUI开头的应该就是通用的类库了,大厂都会封自己的基本类库,不奇怪。如下图:
d03.jpg
d03
那么该如何继续分析呢? 大厂的基本类库是开源的,因此我们直接拿来源代码看看,百度QMUI,下载下来。xCode打开QMUI的代码,我们全局搜索handleItemViewEvent
在类QMUIMoreOperationController中,搜索到了该方法,在该方法内部调用了一个delegate和一个block, 在本读书app中,使用的是代{过}{滤}理,
也就是实现了方法:didSelectItemView。 如下图:
d04.jpg
d04
在我们的项目中,全局搜索didSelectItemView,可以看到很多类都实现了此代{过}{滤}理方法。那么点击下载后,具体是哪个类调用了该方法呢。
其实是类:WRReaderViewController ,它的父类WRBaseReaderViewController实现了该方法。如下图:
WRReaderViewController,该类就是正在读书的页面的真正的控制器,也就是说,正在读书的页面逻辑操作,基本都由此类控制(若代码遵循MVC原则的话)。
后面会分析为何该类为读书页面的控制类。
d05.jpg
d05
现在我们知道在那个类调用了点击下载的方法了,接下来继续寻找真正下载的函数。在hopper中,全局搜索didSelectItemView,可以发现有很多个。
我们定位到 WRBaseReaderViewController 该类中的didSelectItemView方法。(因为该类是读书控制类的父类)。如下图:
d06.jpg
d06
可以看到内部调用了 handleOfflineButtonclick 方法。双击进入该方法。如下图:
d07.jpg
d07
可以看到内部调用了 handleOfflineButtonClickWithScene 方法,该方法由offlineDownloadUIHelper 获取到的对象调用。双击跳转进入:
该方法很长,我们只看关键部分,这里有3个主要部分: 如下图。
下载状态函数: 该方法用来判断是否已下载本书。这里先有个大概印象,之后需要用到。
downloadBookStatusWithBookId:(id)arg1 checkHasAvailableUnDownload:(Bool)arg2
判断本月下载是否多于3次:这里是需要跳过的地方。
下载函数:使用此方法下载书籍。
continueHandleOfflineRuttonClickWithNormalBookIds: comicsBookIds: targetOffline: startTips:
d08.jpg
d08
至此,我们已经找到需要跳过的地方,以及下载的函数了。接下来开始实现无限下载。
经过上面分析,我们清楚了下载点击时函数调用关系。那么如何跳过3次限制呢?
这里我们用如下思路:
当点击按钮时,直接调用下载书籍的函数。(去掉中间的各个过程,这就绕过次数验证了)
首先hook点击按钮时会调用的函数,经过上面分析,会调用很多函数。hook哪一个呢?
这里hook 此函数:handleOfflineButtonClickWithScene。
为什么hook它,因为该函数所属的实例对象,调用了真正的下载函数。也就是真正的下载函数与本函数 是属于同一个类的方法。
在分析中,我们知道该方法的实例对象 是由 offlineDownloadUIHelper 这个东西返回的。我们全局搜索下,看看它是啥。如下图:
可以看到,其是WROfflineDownloadUIHelper类的对象,也就是说下载函数在WROfflineDownloadUIHelper类中。
d09.jpg
d09
接下来,直接hook WROfflineDownloadUIHelper类的handleOfflineButtonClickWithScene方法,
并且在hook方法内部,直接调用下载函数
continueHandleOfflineRuttonClickWithNormalBookIds: comicsBookIds: targetOffline: startTips:
关于参数的传递:
第一个 NormalBookIds:显然是普通书籍的id,可以从本实例得到。
第二个 comicsBookIds:猜测是漫画书的id,忽略漫画,所以全部传空。
第三个 targetOffline:传NO,根据Hooper中的反汇编代码,可知传NO
第四个 startTips: 猜测是开始时的提示,这里忽略。传空。
这里使用logos语法进行hook,请看代码:如下图
d10.jpg
d10
至此,下载的次数就被去掉了,就可以无数次下载了。不过,这里我们还要做一件事,那就是hook下载状态。让所有书籍都可以重新下载。
之所以如此是因为:导出epub书籍,我们使用的是下载的zip文件包的内容。
而微信读书的下载逻辑是:下载某个章节的zip包,然后解压数据并加密后,拷贝到该书籍的缓存目录,清空zip文件。
因此,我们每次获取zip包,必须重新下载。下面请看hook下载状态函数,如下图:
d11.jpg
d11
至此,就完全可以无限次、重复的下载了。
想导出书籍,我们必须弄清楚,书籍在本地是如何存放的,其数据结构是什么。了解了之后,才能知道以何种方式导出。因此本过程是必须的。
因为iOS系统有沙盒机制,应用都有自己的缓存目录。因此在app运行时,我们直接使用XCode打印出沙盒的路径。就可以看到App缓存在本地的所有文件内容了。
启动XCode运行我们的WeReadDev项目,app启动后,随意打开一本书,然后点击UI分析工具,这样程序会暂停,我么可以使用XCode中集成的lldb调试器打印数据。
打印出目录:/var/mobile/Containers/Data/Application/DA344853-7949-44C1-89EE-B3D54897B161/Documents 如下图
d12.jpg
d12
使用FinalShell连接设备,查看文件。有很多文件夹,最后发现发现个Books文件夹,里面是一对数字文件夹。随意进入个,内部是一堆html文件。
/var/mobile/Containers/Data/Application/DA344853-7949-44C1-89EE-B3D54897B161/Library/254802774/Books
由此,可以猜测,此处就是书籍缓存目录了。只是书籍数据是加密过的。
如下图
d13.jpg
d13
我们需要解密出缓存文件内容,然后根据内容,看如何导出文件。如何解密呢?
根据经验,直接在项目中,全局搜索decrypt关键字。会发现很多相关的函数。
依据函数名以及所属的类,这里我们直接定位到 所属于 WREpubFileManager 类的以下方法:
d14.jpg
d14
接下来,hook该方法,并打印日志,然后运行app,打开新的书籍,看是否会打印日志。
经过测试,每次加载新的章节,就会调用该方法解密.通过参数的值,可以确定解密的就是缓存的文件。如下图:
d15.jpg
d15
该函数的返回值,应该就是解密后的数据。接下来就验证下数据。
断点至该函数结束完成,打印返回值,得知类型是NSData,二进制数据流。我们直接把它写入本地文件,然后导出查看内容。
写了个保存文件函数,打印了导出路径:如下图
d16.jpg
d16
用FinalShell访问路径,导出文件,然后查看其内容。可以发现,html文本内容就是书籍的内容。如下图:
d17.jpg
d17
由此,我们就可以拿到解密的缓存文件了。
这里要注意下:加密的所有文件都是通过此函数来进行解密的,包括图片、css文件等。
书籍已经解密了,接下来简要看下文件结构。
在书籍的缓存的Books目录下,有很多数字的文件夹,每个数字目录代表一本书,数字就是书的ID(解析过程略过)。
我们来看下某书籍下的目录:有4个文件夹Images、Styles、Text、Tmp 。
这里直接上结论,书籍内容主要由Text内的html文件提供,另外的Images和Styles提供html需要的资源。Tmp临时目录,忽略。
书籍内容由html提供,可以确定,这是可以组装成epub文件导出的。
因此,我们只要想办法把 Images、Styles、Text这3个文件夹的内容组合到一起,导出即可。
但是因为 Text文件夹内,有许多章节的html,无法确定章节的顺序,以及索引等数据,因此直接使用解密的缓存文件导出epub,可能会造成书籍数据混乱。
所以要想准确的组装数据,还需要找到带有章节索引信息的的数据。这就是下面4.4部分需要描述的内容。
继续之前,先分析下书籍的加载逻辑。
经测试得知。阅读图书时,书籍内容的加载逻辑是:
a、每次加载一个zip数据包,该数据包中包含不定章节内容,可能含有1个章节,也可能多个。
b、获取到zip数据包后,解压数据,此时的数据是未加密的。然后对数据加密,缓存至书籍的缓存目录。
c、读书时,先从本地缓存目录查找,若不存在就去下载zip包。
注意:一开始打开图书时,会预先加载部分zip数据。
下载逻辑与阅读时的加载逻辑类似。
因为点击了下载按钮后,也是先去本地缓存目录看有没有,若没有就下载zip,然后加密数据,缓存。
因此下载也是一个zip,一个zip的获取。
也就是说 下载其实就是 一起把书籍所有章节全部缓存到本地。
与你直接看完一本书,是一个道理。
zip文件是猜测的,因为数据要在互联网上传输,一定需要压缩。还有epub文件本身就是zip的压缩方式。
起初的思路是直接hook解压的方法,因为zip一定需要解压,但是试了几个,都没有找到解压的函数。
后来又想到,解压文件一定会用到写入文件的方法,因此,我们hook写入文件的方法。看是否可以找到解压zip的函数。
如下图,我hook了NSData的所有写入文件的方法,果然写入文件的操作,都被抓到了。同时还有个意外收获。
就在某个文件写入前,有一个函数吸引了注意,如下:
[WRBookNetwork processEpubZipAtPath:book:chapterUids:chaptersStr:isFromReview:]
d18.jpg
d18
看名字 processEpubZipAtPath, 有epub 有zip,猜测就是源文件了。因此在头文件搜索,果然搜到了。
这里去hopper中,看了下该函数的伪代码,发现其内部确实是对zip进行了解压操作,然后加密文件,拷贝至书籍目录。
在hopper中,可以看到解压用的是SSZipArchive三方类库。稍后我们解压和导出epub时也就用它了。
直接hook该函数,看看传进来的参数都是什么。运行,断点在该hook的函数,打印参数:
可以知道,第一个参数就是zip文件路径,第二个参数是 WRBook对象。使用FinalShell访问路径,导出文件,改为zip打开。如下图:
d19.jpg
d19
关于密码的获取,是在hopper中发现的,因为这里要解压文件,所以密码肯定在相关的参数中,这里直接公布答案:密码是WRBook类的epubPassword方法返回的。
因此,我们直接在XCode刚才的断点处,直接执行代码: [((WRBook*)arg2) epubPassword] ,可以看到返回了一个字符串:hi7GPj12y
使用该值,成功的解压了刚才的zip,可以看到,zip内的文件结构与书籍缓存的类似,但是多了一个 info.txt 文件,如下图:
d20.jpg
d20
从 info.txt 的文件内容就可以确定,该文件就是html文件的索引信息(相当于书籍的目录),有了索引信息,有了书籍内容,就可以完整的导出书籍了。
我们重新梳理下书籍的加载(下载)逻辑。
a、点击下载按钮
b、去本地缓存目录查找是否存在。
c、不存在,开始下载zip
d、解压zip文件到临时目录
c、加密解压后的文件,缓存至书籍目录(不包括索引文件)
e、清空临时目录内容
至此,我们已经完全清楚书籍文件的来源,结构,加解密过程。那么如何导出epub文件呢?
思路如下:
在步骤d中,我们拷贝zip文件以及密码到指定目录,
然后把书籍的所有的zip数据解压合并,根据info.txt创建索引信息,组装成epub格式,导出。
我们知道书籍的存储结构了,也知道缓存文件在哪,那么我们只要将书籍的所有源文件整合到一起,然后保存文件即可
由于我们想组装成epub,需要先了解下其格式。
a、mimetype
每一个epub电子书均包含一个名为mimtype的文件,内容固定为:application/epub+zip,用以表示是epub的文件格式。
b、META-INF(文件夹,包含一个文件container.xml)
用于存放容器信息,主要用于告诉阅读器,电子书的根文件(rootfile)的路径和打开格式,内容可以一般固定不变,除非改变了OEBPS目录名。
c、OEBPS(文件夹,包含images文件夹、很多html文件、css文件和content.opf文件等)
OEPBS目录用于存放OPF文档、CSS文件、NCX文档。
OPF文档是epub的核心文件,且是一个标准的xml文件,依据OPF规范,此文件的根元素为<package>由五部分组成:<metadata>、<mainfest>、<spine toc="ncx">、<guide>、<tour>
NCX文件是epub电子书的又一个核心文件,用于制作电子书的目录,其文件的命名通常为toc.ncx。ncx文件也是一个xml文件。ncx代表“Navigation Center eXtended”,意思大致就是导航文件,这个文件与目录有直接的关系。
mimetype和META-INF的内容,我们固定写死,不用修改。
我们要修改的文件主要是 opf和ncx的内容。
下面请看完整的Epub文件结构示意图:
d21.jpg
d21
我们可以在下载书籍时,拿到书籍的所有章节的zip文件,但我们还需要一个导出zip的入口。
因此我们就在书籍页面的右上角添加一个export按钮。
添加方式是:hook 读书控制器类WRReaderViewController的viewDidAppear方法,当该方法调用时,在页面上添加一个按钮。
新建类 EpubExportView ,写成单例模式,添加按钮以及导出的事件都在此类中完成。看下效果图。
d22.jpg
d22
这里其实就比较简单了,在我们hook的processZip的函数中,复制zip文件以及密码进行保存。如下图:
d23.jpg
d23
首先解压所有的zip文件,并移动到指定data目录。
前文提到在app内使用了三方的解压工具SSZipArchive,因此我们也使用它。去网上找到其代码找到函数原型,动态调用。
我们肯定没办法直接调用原app内的函数,缺少声明,编译器会报错。又因为解压的函数参数过多,不方便使用oc的动态调用方法。
因此,这里直接使用oc消息转发机制,使用c语言的调用方式。请看下图:
d24.jpg
d24
组装epub内容
可以看到,我们已经将所有文件都解压到data目录了。
因为每个zip包的目录下,都有3个文件夹和1个info.txt文件,因此我们需要把多个zip中的各文件夹合并到一起。
在合并过程中,info.txt文件不需要进行操作,仅仅记录下各个info文件所在的路径。稍后会根据所有info.txt创建epub内容。
然后,再将这3个文件夹移动到epub的OEBPS目录中。
移动完成后,根据info.txt文件创建ncx和opf文件。
这里我写了一个EpubCreator类来进行操作。如下图:
d25.jpg
d25
内容组装完成,接下来压缩导出文件。
这里直接使用SSZipArchive类的压缩方法,直接将准备好的epub内容进行压缩成epub文件。
d26.jpg
d26
这里是导出到了指定目录,那么如果是在非越狱的机器上,如何查看导出的书籍呢?
答案:在XCode中,公开文档目录,通过文件App访问。
过程就不赘述了,看下效果图吧。
d27.jpg
d27
每次下载书籍前,最好清空下原有缓存,避免个别章节没有下到。
导出的过程,基本上就是正向开发。没有什么难点,相对的难点可能是 解压和压缩的代码调用了。
其实,很久之前就砸壳了该app,逆向了几张壁纸,也解密了文章缓存,但对于导出还是耗费了些时间。
特别是对于书籍源文件的获取。以及还原书籍下载的逻辑,也是耗费了不少脑细胞。
希望本文对于技术学习的朋友可以有所帮助。
因本人水平有限,若有错误之处,欢迎指出!谢谢大家!