格式化恢复之路

元始天尊

老板叫做一个格式化恢复工具，以前数据恢复知识没怎么用上，我开始对各大著名软件的格式化恢复功能进行了分析，以为大家都是逐扇区搜索，不过到目前为止我错了，因为他们居然可以解析出文件名，也就是他们利用的是硬盘上残留的目录信息，格式化的时候并没有删掉有些信息，对于目录恢复我暂时不做，不过打算以后有机会会研究。目前我的工作就是解析doc xls ppt pdf docx pptx xlsx这7种格式，然后做一个可以扩展的工具。我的这个工具无论未来多少人为特定格式编写dll给我的程序用，都不会有很大的性能损耗。目前的初步磁盘文件查找速度为30s/G       深度解析文件速度取决于文件格式和文件大小。下面是公共接口文件：

1. 
   
2. //由于该项目由于vc6的bug，不得不在vs2010编译
   
3. //此格式化恢复工具分几步：
   
4. //①程序搜索ext文件夹下的dll，dll的GetSupportExtension提供该dll能识别的文件类型，主模块将所有支持的类型给用户显示。
   
5. //②程序列出所有支持的(介质)磁盘类型，目前支持本地硬盘、移动硬盘、u盘、以后可能支持内存文件恢复，列出给用户显示的介质是各个非隐藏分区和所有硬盘的设备链接符号。
   
6. //③用户选择需要搜索的文件类型和要恢复的介质，点击搜索开始搜索。
   
7. //④主模块将用户选择的文件类型加入搜索，其中对于简单文件签名直接加入搜索树中，对于复杂文件签名则把函数地址加入一个链表。
   
8. //以下为初步文件搜索：
   
9. //⑤主模块打开设备，从0扇区开始搜索，先搜索简单签名树，如果没有则在复杂文件签名列表中搜索，如果都没有直接进入下一个扇区。如果找到则跳转到⑥。
   
10. //⑥将搜索到的初步信息显示到列表控件，如果能快速获取文件大小则可以加速遍历，否则按簇遍历(每次向后0x1000)，记录每个找到的文件相关信息用于后面深度解析。
    
11. //以下为深度文件搜索：
    
12. //⑦对于搜到的每一项获取信息，定位到文件，把文件数据交给dll获取详细信息，这些信息包括精确后缀名，有效性，长度，和文件的特定信息。
    
13. //⑧深度文件搜索完成后，右键点击列表控件会弹出2个菜单，一个是恢复，点击就开始恢复所有选择的文件，文件名为序号，后缀为识别出来的后缀，目录为选择的目录。
    
14. //另一个菜单是查看文件信息，选择后可以查看dll在深度搜索时提供的特定文件信息
    
15. /*
    
16. Dll导出函数要求：
    
17. //告知主模块该dll对于给定buf(已验证过文件签名)是否能提供快速返回文件大小，和GetFileLenImmediately配套使用可以在初次文件格式识别中加快扇区遍历速度。
    
18. BOOL CanGetFileLenImmediately;
    
19. //此函数对应于CanGetFileLenImmediately，如果CanGetFileLenImmediately设为TRUE则应该提供此函数入口快速计算文件大小。用于初步文件搜索。
    
20. FORMAT_SFILESIZE GetFileLenImmediately(VOID);
    
21. //告知注模块文件签名是否简单(可以通过判断连续几个字符确定)，此导出值需要和GetFileSig连用以获取文件签名信息
    
22. BOOL IsFileSigSimple;
    
23. //此函数用于获取dll中的文件签名信息，如果文件签名可以简单对比出来就直接将签名的那些字节考入FORMAT_SIMPLETYPE，设置相关信息即可，
    
24. //如果该种文件签名不可以通过简单逐头字节对照比较出来，则应提供文件签名判断的入口函数，其类型为FORMAT_GETCOMPLEXFILETYPE
    
25. BOOL GetFileSig(PVOID pData);//simplefile:pData=FORMAT_SIMPLETYPE* complexfile:pData=FORMAT_GETCOMPLEXFILETYPE*
    
26. //用于深度文件搜索，获取文件大小及扩展信息,获取唯一文件后缀
    
27. BOOL GetRawFileInfo(CONST FORMAT_DATAPOINTER pData,FORMAT_FILEINFO* pfileinfo);
    
28. //提供该dll支持的文件类型，可以返回文件描述，也可以返回类型后缀，不要含有不能作为文件名的非法字符
    
29. VOID GetSupportExtension(CHAR Ext[MAX_EXTLEN]);
    
30. */
    
31. //我想到的优化法：①双缓冲区，充分利用io操作时间分给cpu并行处理内存数据
    
32. //②深度搜索查找占用时间太长可以利用列表项后一项位置为界，搜索超过此位置仍没结束(获取到大小和后缀)则强制结束
    
33.                
    
34. #ifndef FORMAT_COMMON
    
35. #define FORMAT_COMMON
    
36. //以下是我定义的，详细说明在FormatDefs.cpp和FormatDefs.h，这里只是挑出这2个文件里必备的声明和定义用于编写windows dll，
    
37. //由于和windows和mfc不兼容，没有直接用上面2个文件
    
38. #define FORMAT_API   WINAPI
    
39. #define MAX_FILESIGLEN  0x100
    
40. #define MAX_CHILDNUM  0x100
    
41. #define FORMAT_FAILURE  (DWORD)-1
    
42. #define FORMAT_INVALIDID (DWORD)-1
    
43. #define TREE_ADDFAILURE  FALSE
    
44. #define TREE_ADDSUCCESS  TRUE
    
45. #define MAX_EXTLEN   0x100
    
46. #define MAX_DESCIPTION  0x1000
    
47. #define CLASS_BEGIN_DEFINETYPE//定义类结构
    
48. #define CLASS_END_DEFINETYPE
    
49. #define CLASS_BEGIN_DEFMEMBERVAR//定义类成员变量
    
50. #define CLASS_END_DEFMEMBERVAR
    
51. #define CLASS_BEGIN_DEFMEMFUNC//定义类成员函数
    
52. #define CLASS_END_DEFMEMFUNC
    
53. typedef LPCTSTR    FORMAT_EXTENSION;
    
54. typedef BYTE    FORMAT_DATA;   
    
55. typedef DWORD    FORMAT_SFILESIZE;
    
56. typedef LONGLONG   FORMAT_FILESIZE;
    
57. typedef LONGLONG   FORMAT_DISKSIZE;
    
58. typedef LONGLONG   FORMAT_FILEPOSITION;
    
59. typedef HMODULE    FORMAT_DLLHANDLE;
    
60. typedef HANDLE    FORMAT_DISKHANDLE;
    
61. typedef INT     FORMAT_DATATYPE;
    
62. typedef INT     FORMAT_FILESIGLEN;
    
63. typedef BOOL    FORMAT_ISSUCCESS;
    
64. typedef INT     FORMAT_FILESIGID;//唯一对应Dll的序数，唯一对应一个Sig
    
65. typedef INT     FORMAT_ERRORCODE;
    
66. typedef class CDiskMappingPointer
    
67. {//访问范围最大为m_dwBlockBytes
    
68. public:
    
69.         CLASS_BEGIN_DEFMEMFUNC
    
70.                 CDiskMappingPointer(FORMAT_DISKHANDLE hDisk,FORMAT_FILEPOSITION Base=0);
    
71.                 CDiskMappingPointer(CONST CDiskMappingPointer& ObjPtr);//自动重载=()
    
72.                 virtual ~CDiskMappingPointer();
    
73.                 FORMAT_FILEPOSITION GetBase(VOID) CONST;
    
74.                 FORMAT_DISKSIZE GetDiskSize(VOID) CONST;
    
75.                 FORMAT_FILEPOSITION GetOffset(VOID) CONST;
    
76.                 int GetProgress(VOID);
    
77.                 BOOL IsEndOfDisk(VOID) CONST;
    
78.                 BOOL SetDiskPointer(FORMAT_FILEPOSITION pos);
    
79.                 FORMAT_DATA operator[](FORMAT_SFILESIZE delta) CONST;
    
80.                 VOID operator+=(FORMAT_SFILESIZE delta);
    
81.                 FORMAT_DATA operator*(VOID) CONST;
    
82.                 operator FORMAT_DATA*(VOID) CONST;
    
83.                 operator DWORD*(VOID) CONST;
    
84.                 operator int*(VOID) CONST;
    
85.                 operator WORD*(VOID) CONST;
    
86.                 //以下三个成员函数用于快速改变文件指针读取操作
    
87.                 VOID BeforeSeek();
    
88.                 VOID SeekFromOrigin(FORMAT_SFILESIZE delta);
    
89.                 VOID AfterSeek();
    
90.         CLASS_END_DEFMEMFUNC
    
91.                        
    
92.         CLASS_BEGIN_DEFMEMBERVAR
    
93.                 FORMAT_SFILESIZE m_dwBlockBytes;
    
94.         CLASS_END_DEFMEMBERVAR
    
95.                        
    
96. private:
    
97.         CLASS_BEGIN_DEFMEMBERVAR
    
98.                 FORMAT_DATA* m_Data;
    
99.                 FORMAT_FILEPOSITION m_Base;
    
100.                 FORMAT_FILEPOSITION m_CurrentPos;//m_CurrentPos < m_dwBlockBytes
     
101.                 CONST FORMAT_DISKHANDLE m_DiskHandle;
     
102.                 FORMAT_DISKSIZE m_DiskSize;
     
103.                 //以下三个成员变量用于快速改变文件指针读取操作
     
104.                 FORMAT_FILEPOSITION m_oBase;
     
105.                 FORMAT_FILEPOSITION m_oCurrentPos;
     
106.         CLASS_END_DEFMEMBERVAR
     
107. }FORMAT_DATAPOINTER;
     
108. struct FORMAT_FILEINFO
     
109. {
     
110.         BYTE cbSize;
     
111.         BYTE bitmap;//获取了哪些其他成员变量
     
112.         FORMAT_FILESIZE filesize;//0x01
     
113.         CHAR fileextDeepscan[MAX_EXTLEN];//0x02
     
114.         BOOL IsFileValid;//0x04
     
115.         CHAR Description[MAX_DESCIPTION];//0x08
     
116.         PVOID reserved;
     
117. };
     
118. struct FORMAT_SIMPLETYPE
     
119. {
     
120.         FORMAT_DATA FileSig[MAX_FILESIGLEN];
     
121.         FORMAT_FILESIGLEN FileSigLen;//AddTreeTrunk调用之前检测参数
     
122. };
     
123. typedef BOOL (*FORMAT_GETCOMPLEXFILETYPE)(CONST FORMAT_DATA DiskInfo[MAX_FILESIGLEN]);
     
124.        
     
125. CDiskMappingPointer::CDiskMappingPointer(FORMAT_DISKHANDLE hDisk,FORMAT_FILEPOSITION Base):m_DiskHandle(hDisk),m_Base(((Base)>>12)<<12)
     
126. {
     
127.         SYSTEM_INFO SysInfo;
     
128.         GetSystemInfo(&SysInfo);
     
129.         DWORD dwGran=SysInfo.dwAllocationGranularity;
     
130.         m_dwBlockBytes=1000*dwGran;
     
131.         m_Data=new FORMAT_DATA[m_dwBlockBytes];
     
132.         LARGE_INTEGER li;
     
133.         li.QuadPart=m_Base;
     
134.         //获取指定头部数据
     
135.         SetFilePointer(m_DiskHandle,li.LowPart,&li.HighPart,FILE_BEGIN);
     
136.         DWORD retlen;
     
137.         ReadFile(m_DiskHandle,m_Data,m_dwBlockBytes,&retlen,NULL);
     
138.                
     
139.         //获取磁盘大小
     
140.         m_DiskSize=0;
     
141.         GET_LENGTH_INFORMATION getlen;
     
142.         if(DeviceIoControl(hDisk,IOCTL_DISK_GET_LENGTH_INFO,NULL,0,(LPVOID)&getlen,sizeof(getlen),&retlen,NULL))
     
143.                 m_DiskSize=getlen.Length.QuadPart;
     
144.         m_CurrentPos=(Base&0xFFF);
     
145. }
     
146. CDiskMappingPointer::CDiskMappingPointer(CONST CDiskMappingPointer& ObjPtr):m_Base(ObjPtr.m_Base),m_DiskHandle(ObjPtr.m_DiskHandle)
     
147. {//深拷贝对象
     
148.         m_dwBlockBytes=ObjPtr.m_dwBlockBytes;
     
149.         m_CurrentPos=ObjPtr.m_CurrentPos;
     
150.         m_DiskSize=ObjPtr.m_DiskSize;
     
151.         m_Data=new FORMAT_DATA[m_dwBlockBytes];
     
152.         memcpy(m_Data,ObjPtr.m_Data,m_dwBlockBytes);
     
153. }
     
154. CDiskMappingPointer::~CDiskMappingPointer()
     
155. {
     
156.         delete []m_Data;
     
157. }
     
158. FORMAT_DATA CDiskMappingPointer::operator [](FORMAT_SFILESIZE delta) CONST//调用者需要保证参数合法
     
159. {
     
160.         return m_Data[m_CurrentPos+delta];
     
161. }
     
162. VOID CDiskMappingPointer::operator+=(FORMAT_SFILESIZE delta)//调用者需要保证参数合法
     
163. {
     
164.         SetDiskPointer(m_Base+m_CurrentPos+delta);
     
165. }
     
166. FORMAT_DATA CDiskMappingPointer::operator*() CONST
     
167. {
     
168.         return m_Data[m_CurrentPos];
     
169. }
     
170. CDiskMappingPointer::operator FORMAT_DATA*() CONST
     
171. {//强制转换为FORMAT_DATA*
     
172.         return (m_Data+m_CurrentPos);
     
173. }
     
174. CDiskMappingPointer::operator DWORD*() CONST
     
175. {//强制转换为DWORD*
     
176.         return (DWORD*)(m_Data+m_CurrentPos);
     
177. }
     
178. CDiskMappingPointer::operator int*() CONST
     
179. {//强制转换为int*
     
180.         return (int*)(m_Data+m_CurrentPos);
     
181. }
     
182. CDiskMappingPointer::operator WORD*() CONST
     
183. {//强制转换为WORD*
     
184.         return (WORD*)(m_Data+m_CurrentPos);
     
185. }
     
186. VOID CDiskMappingPointer::BeforeSeek()
     
187. {
     
188.         m_oBase=m_Base;
     
189.         m_oCurrentPos=m_CurrentPos;
     
190. }
     
191. VOID CDiskMappingPointer::SeekFromOrigin(FORMAT_SFILESIZE delta)
     
192. {
     
193.         if(m_oCurrentPos+delta < m_dwBlockBytes/2 && m_Base == m_oBase)
     
194.         {
     
195.         }
     
196.         else//如果指针发生过移动
     
197.         {//移回原位置并读取数据
     
198.                 SetDiskPointer(m_oBase+m_oCurrentPos+delta);
     
199.         }
     
200. }
     
201. VOID CDiskMappingPointer::AfterSeek()
     
202. {//恢复指针及数据
     
203.         if(m_Base != m_oBase)
     
204.         {
     
205.                 SetDiskPointer(m_oBase+m_oCurrentPos);
     
206.         }
     
207.         m_Base=m_oBase;
     
208.         m_CurrentPos=m_oCurrentPos;
     
209. }
     
210. FORMAT_FILEPOSITION CDiskMappingPointer::GetBase() CONST
     
211. {
     
212.         return m_Base;
     
213. }
     
214. FORMAT_FILEPOSITION CDiskMappingPointer::GetOffset() CONST
     
215. {
     
216.         return m_CurrentPos;
     
217. }
     
218. int CDiskMappingPointer::GetProgress()
     
219. {
     
220.         return int(1000*(float)(m_CurrentPos+m_Base)/m_DiskSize);
     
221. }
     
222. BOOL CDiskMappingPointer::IsEndOfDisk() CONST
     
223. {
     
224.         return (m_Base+m_CurrentPos) > m_DiskSize;
     
225. }
     
226. BOOL CDiskMappingPointer::SetDiskPointer(FORMAT_FILEPOSITION pos)
     
227. {
     
228.         if(pos>m_DiskSize)
     
229.         {
     
230.                 m_CurrentPos=pos-m_Base;
     
231.                 return FALSE;
     
232.         }
     
233.         FORMAT_FILEPOSITION newpos=((pos>>12)<<12);//按簇为单位计算基址
     
234.         if(m_Base <= newpos && newpos <= m_Base+m_dwBlockBytes/2-0x1000 && m_CurrentPos < m_dwBlockBytes/2)
     
235.         {
     
236.                 m_CurrentPos=pos-m_Base;
     
237.         }
     
238.         else
     
239.         {
     
240.                 m_Base=((pos>>12)<<12);
     
241.                 m_CurrentPos=(pos&0xFFF);//计算偏移，也就是去掉了基址的那部分
     
242.                 LARGE_INTEGER li;
     
243.                 li.QuadPart=m_Base;
     
244.                 SetFilePointer(m_DiskHandle,li.LowPart,&li.HighPart,FILE_BEGIN);
     
245.                 DWORD retlen;
     
246.                 ReadFile(m_DiskHandle,m_Data,m_dwBlockBytes,&retlen,NULL);
     
247.         }
     
248.         return TRUE;
     
249. }
     
250. FORMAT_DISKSIZE CDiskMappingPointer::GetDiskSize() CONST
     
251. {
     
252.         return m_DiskSize;
     
253. }
     
254.        
     
255. #endif

复制代码

       
下面以最简单的pdf格式作说明如何针对特定格式编写dll：

1. 
   
2. Portable_Document_Format.h
   
3. #include "..\common.h"
   
4. #ifndef PORTABLE_DOCUMENT_FORMAT
   
5. #define PORTABLE_DOCUMENT_FORMAT
   
6.                
   
7. #ifdef PORTABLE_DOCUMENT_FORMAT_EXPORTS
   
8. #define PORTABLE_DOCUMENT_FORMAT_API __declspec(dllexport)
   
9. #else
   
10. #define PORTABLE_DOCUMENT_FORMAT_API __declspec(dllimport)
    
11. #endif
    
12.                
    
13. extern "C"
    
14. {
    
15.         extern PORTABLE_DOCUMENT_FORMAT_API BOOL CanGetFileLenImmediately;
    
16.         extern PORTABLE_DOCUMENT_FORMAT_API BOOL IsFileSigSimple;
    
17.                
    
18.         PORTABLE_DOCUMENT_FORMAT_API FORMAT_SFILESIZE GetFileLenImmediately(FORMAT_DATAPOINTER& pData);
    
19.         PORTABLE_DOCUMENT_FORMAT_API BOOL GetFileSig(PVOID pData);
    
20.         PORTABLE_DOCUMENT_FORMAT_API BOOL GetRawFileInfo(FORMAT_DATAPOINTER& pData,FORMAT_FILEINFO* pfileinfo);
    
21.         PORTABLE_DOCUMENT_FORMAT_API VOID GetSupportExtension(CHAR Ext[MAX_EXTLEN]);
    
22. };
    
23.        
    
24. #endif
    
25. Portable_Document_Format.cpp
    
26. // Portable_Document_Format.cpp : Defines the entry point for the DLL application.
    
27. //
    
28. #include "stdafx.h"
    
29. #ifndef PORTABLE_DOCUMENT_FORMAT_EXPORTS
    
30. #define PORTABLE_DOCUMENT_FORMAT_EXPORTS
    
31. #endif
    
32. #include "Portable_Document_Format.h"
    
33. //具体文件格式分析请自行用Winhex解决，看懂格式再看我的代码
    
34. BOOL APIENTRY DllMain( HANDLE hModule, DWORD  ul_reason_for_call,  LPVOID lpReserved)
    
35. {
    
36.                                 switch (ul_reason_for_call)
    
37.         {
    
38.                 case DLL_PROCESS_ATTACH:
    
39.                 case DLL_THREAD_ATTACH:
    
40.                 case DLL_THREAD_DETACH:
    
41.                 case DLL_PROCESS_DETACH:
    
42.                         break;
    
43.                                 }
    
44.                                 return TRUE;
    
45. }
    
46.        
    
47. PORTABLE_DOCUMENT_FORMAT_API BOOL CanGetFileLenImmediately=FALSE;//暂时没时间研究pdf格式，所以没有快速算法计算大小
    
48. PORTABLE_DOCUMENT_FORMAT_API BOOL IsFileSigSimple=TRUE;
    
49. PORTABLE_DOCUMENT_FORMAT_API FORMAT_SFILESIZE GetFileLenImmediately(FORMAT_DATAPOINTER& pData)
    
50. {
    
51.         return 0;
    
52. }
    
53. PORTABLE_DOCUMENT_FORMAT_API BOOL GetFileSig(PVOID pData)
    
54. {
    
55.                 FORMAT_DATA sig[]={0x25,0x50,0x44,0x46};
    
56.                 FORMAT_SIMPLETYPE* data=(FORMAT_SIMPLETYPE*)pData;
    
57.                 memcpy(data->FileSig,sig,sizeof(sig));
    
58.                 data->FileSigLen=sizeof(sig);
    
59.         return TRUE;
    
60. }
    
61. PORTABLE_DOCUMENT_FORMAT_API BOOL GetRawFileInfo(FORMAT_DATAPOINTER& pData,FORMAT_FILEINFO* pfileinfo)
    
62. {
    
63.         SYSTEM_INFO SysInfo;
    
64.         GetSystemInfo(&SysInfo);
    
65.         DWORD dwGran=SysInfo.dwAllocationGranularity;
    
66.         DWORD maxaccess=0x100*dwGran;
    
67.         FORMAT_FILESIZE filesize=0;
    
68.         int loopnum=0;
    
69.         int loopmax=0x3FFFFFFF/maxaccess;//最大支持1G文件
    
70.                 pfileinfo->bitmap=0;
    
71.                 pfileinfo->IsFileValid=FALSE;
    
72.         FORMAT_DATA* p=(FORMAT_DATA*)pData+5,*endv;
    
73.         for(endv=p;*endv != 0x0A && *endv != 0x0D && *endv != '%';endv++);
    
74.         *endv='\0';
    
75.         pfileinfo->bitmap |= 0x08;
    
76.         strcpy_s(pfileinfo->Description,"版本号:");
    
77.         strncat_s(pfileinfo->Description,(CHAR*)p,16);
    
78.         while(loopnum<loopmax && !pData.IsEndOfDisk())
    
79.         {
    
80.                 p=(FORMAT_DATA*)pData;
    
81.                 for(int i=0;i<(int)maxaccess;i++)
    
82.                 {
    
83.                         if(*(DWORD*)(p+i) == 'FOE%')//'%EOF'为结束标志
    
84.                         {
    
85.                                 if(*(p+i+4) != 0 && *(p+i+5) != 0 && *(p+i+6) != 0)//伪结束符
    
86.                                         continue;
    
87.                                 pfileinfo->bitmap |= 0x01;
    
88.                                 pfileinfo->filesize=loopnum;
    
89.                                 pfileinfo->filesize *= maxaccess;
    
90.                                 pfileinfo->filesize += i+strlen((char*)p+i);
    
91.                                 pfileinfo->bitmap |= 0x04;
    
92.                                 pfileinfo->IsFileValid=TRUE;
    
93.                                 pfileinfo->bitmap |= 0x02;
    
94.                                 strcpy_s(pfileinfo->fileextDeepscan,"pdf");
    
95.                                 goto END;
    
96.                         }
    
97.                 }
    
98.                 loopnum++;
    
99.                 pData+=maxaccess;
    
100.         }
     
101. END:
     
102.         return TRUE;
     
103. }
     
104. PORTABLE_DOCUMENT_FORMAT_API VOID GetSupportExtension(CHAR Ext[MAX_EXTLEN])
     
105. {
     
106.         strcpy_s(Ext,MAX_EXTLEN,"pdf");
     
107. }
     

复制代码