这是一篇根据此文意译的文章， 我只翻译了自己认为重要的东西。作者以自己移植python的dnslib库到OpenBSD的过程来描述移植的过程。作者为Bryan Everly。此译文发表时文章发布的原域名过期，无法访问。 事前准备 找到你想移植的软件 准备好承担做一个维护者的责任 和软件的开发者/团队协作，而不是为软件加几个补丁，让它在OB上能编译通过 你很可能没有权限把软件添加到ports中，请和ports邮件列表中的人合作 先读文档，再问问题 OpenBSD ports树传统 软件按类别放在/usr/ports目录下，如开发工具放在/usr/ports/devel,数据库软件放在/usr/ports/database等等 软件源码并不放在/usr/ports的任何目录下，而是在编译时从它的官网下载到/usr/ports/distfiles/PORT-v.v.v子目录下 实际编译时的工作目录在/usr/ports/pobj/PORT-v.v.v下 某个软件的ports包含如下标准的文件： Makefile — 包含编译指令 distinfo — 包含指定软件的验证信息，如tar包的SHA1/SHA256摘要信息 pkg — 子目录 pkg/DESCR — 关于此软件的简短描述，请保持列宽为72 pkg/PLIST — 由此ports编译成的软件包（package）的manifest文件 patches — 子目录，包含要为此软件的源码打的补丁包 大部分ports的Makefile的结尾会包含一个名为bsd.port.mk的文件。这个文件用于告诉ports如何利用OpenBSD现有的ports编译的基础架构。 以移植python库dnslib为例，在/usr/ports/net目录下新建一个文件夹py-dnslib，因为一个跟网络相关的工具，也是python的库文件，所以以py-开头。 接下来要创建Makefile. # $OpenBSD$ COMMENT=…
Tanslated from： http://www.tenouk.com/ModuleW.html W.10 运行时链接器和共享库的加载 使用共享库的程序启动时或这一个程序请求动态加载一个共享对象时会触发运行时链接器。因此符号的解析可以在下面两个过程中的任一个完成。 1. 加载时动态链接。程序被从磁盘上加载到内存中，其中未解析的引用被列出，加载器找到所有需要的外部符号，把所有对这些符号的引用更改为相对于程序基地址的内存地址。 2. 运行时动态链接。程序被从磁盘上加载到内存中，其中未解析的引用被原样保留。第一次对这些符号的访问是无效的，从而引发一个software trap。运行时动态链接器侦测到此次trap的原因并找到所需的外部符号。然后这个被访问的符号被加载到内存并被链接到程序中。 运行时链接器包含在C的运行时库中，它加载共享库（.so文件）时会完成几个任务。动态section提供信息给链接器，告诉它这个库文件链接的其它库文件。它同时提供需要哪些重定位（reloaction）操作以及需要解析的外部符号。运行时链接器会首先加载需要的其它库文件。然后为每个库文件执行重定位操作。有些重定位仅限于库文件本身，而有些则需要运行时链接器解析一个全局符号。对于后一种情况，运行时链接器会搜索一个库文件列表来寻找这个符号。在ELF文件中，会使用hash table来进行符号的查找，所以这个过程是很快的。一旦所有的重定位操作执行完毕，就开始调用在共享库文件的init部分中注册的初始化函数。一些C++的实现使用这个特性来调用全局contructor。 W.11 符号名称解析 当运行时链接器加载了共享库文件，还需要解析库文件中的符号。这里，符号解析的顺序和范围是很重要的。如果一个共享库调用的函数碰巧在几个库文件中都存在，那么搜索这个函数的顺序就至关重要了。这也是为什么操作系统为库文件加载定义了几个选项。所有具有全局范围的对象（可执行文件和库文件）会被保存到一个列表中（全局列表）。默认，任何全局对象的所有符号对加载进来的共享库都是可用的。全局列表开始时包含可执行文件以及程序启动时加载的库文件。 W.12 动态地址翻译 以内存管理的角度看，现代的具有多任务的操作系统通常会实现动态重定位，而非静态。所有程序在地址空间中的布局几乎是相同的。这个动态重定位（以处理器的角度，称为动态地址翻译）产生一下的假象： 1. 每个进程都可以使用以0开始的内存地址，即使其它进程已经在运行了，或者同一个程序被启动多次 2. 地址空间是受保护的 3. 甚至可以让进程认为它拥有比实际物理内存大得多的内存可用（虚拟内存） 动态重定位中，每次引用地址都会动态变化。虚拟内存地址（或者称为逻辑地址）由某个进程产生，而物理地址则是运行时在物理内存中的实际地址。地址的翻译通常由处理器内嵌的内存管理单元（MMU）完成。 虚拟地址是相对于进程而言的。每个进程都相信它的虚拟地址从0开始。进程完全不知道这个地址在物理内存中的实际地址。代码完全以虚拟地址的方式运行。 如果一个虚拟地址超出了进程的（实际）地址范围，MMU可以拒绝翻译此地址，如产生一个segmentation fault。这为所有进程提供了保护。 翻译过程中，我们还可以把进程地地址空间中的一部分在内存和磁盘间移动（称为swapping或paging），这就是为什么进程可以使用比实际物理内存还大的地址空间。 动态重定位可以以下图来表示： More complete related information can be found…
W.8 运行时数据结构一个进程就是一个运行着的程序。这意味着操作系统已经把程序的可执行文件加载到内存中，安排好了程序对它的参数和环境变量的访问权限，开始执行它的代码。通常一个进程有5个内存区域，如下表所示： Segment 描述 代码 – text segment 通常称为 text segment, 这里是程序的可执行代码指令区. 比如, 当一个程序同时运行多个实例时，Linux/Unix 会尽可能让他们共享text segment。 这个内存区的内容对应可执行文件的 text section. 初始化的数据 – data segment 非零值的静态分配的数据以及全局数据被加载到data segment. 一个程序有多个进程时，每个进程都有自己的data segment。这个内存区的内容对应可执行文件的 data section. 未初始化数据 – bss segment BSS 表示 ‘Block Started by Symbol’（符号开始的区域）。零值的静态分配的数据以及全局数据被加载到bss segment. 一个程序有多个进程时，每个进程都有自己的bss segment。运行时，bss里面的数据会被放入data segment。在可执行文件中，它们被保存在BSS…
W. 6： 共享对象的使用方式 要理解一个程序如何使用共享对象，让我们首先检查一下可执行文件的格式以及如何让程序开始运行。 w6.1一些ELF格式的细节 ELF（Executable and Linking Format， 可执行与链接格式）是一个二进制格式，用于SVR4 Unix和Linux系统。它是一种在磁盘上存储程序的格式。ELF不仅简化了创建共享文件的过程，也改进了运行时模块的动态加载。 W6.2 ELF块（sections） Linux及其它使用ELF格式的系统在可执行程序中定义了一些”块“。这些块用于为二进制文件提供指令，并且可被查看。重要的函数块包括GOT（Global Offset Table，全局偏移表），存储系统函数的地址，和PLT（Procedure Linking Table过程连接表），用于存储指向GOT的非直接链接；.init/.fini，用于内部初始化和关闭；.ctors/.dtors，用于constructors and destructors. 数据相关的块有.rodata,用于只读数据，.data用于已经初始化的数据，和.bss，用于未初始化的数据。 下面是一个ELF块的不完全列表（从低到高）： .init – Startup .text – String .fini – Shutdown .rodata – Read Only .data – Initialized Data .tdata…
W.3 重定位记录（relocation records） 由于不同的对象文件会互相引用对方的代码和/或数据，所以不同的位置，这些不需要在链接时合并。比如，在下面的图中，包含main()的对象文件含有对funct()和printf()函数的调用。把所有对象文件链接在一起后，链接器使用重定位记录来定位那些需要填充的地址。 W.4 符号表 汇编成机器代码的过程会把代码中所有的标签移除，对象文件格式需要把这些信息存放在不同的地方。符号表就是做这个用的。符号表包含了一个名字及其在text和data块的偏移量的列表。反汇编程序可以把这个过程从对象文件或可执行文件翻译回来。 W.5 链接 链接让分开编译成为可能。如下图所示，一个可执行文件可以由多个可独立编译的源文件编译而来，而且每个文件都可以编译为自己的对象文件。 5.1 共享对象 在一个典型的系统上会有多个程序同时运行。每个程序都依赖于很多函数。而这些函数有很多是标准的C语言的库函数，比如printf(), malloc(), strcpy()等，有些则是非标准的或程序员自定义的函数。 如果每个程序都使用标准的C库（library），那就意味着每个程序都要在它的（地址空间）内部有一份C库。这样就会浪费很多资源，也影响效率和性能。 既然对C库文件的需求是共通的，那么如果每个程序都可以共享访问一份C库文件就是一个更好的选择，而不是每个程序都把标准C库文件加载一份到自己的内存地址中。 这个功能也是在链接过程中来实现的。有些对象是在链接的时候链接进来，而有些则是在程序运行时才链接进来（称为延迟链接或动态链接） 5.2 静态链接 静态链接表示一个程序和它需要的库文件在链接阶段就被链接器合并在一起了。这也意味着这个程序和库文件之间的绑定是固定的，且在程序开始运行之前就是已知的。同时也意味着我们无法改变这个结合状态，除非使用一个新版的库文件重新链接这个程序。 静态链接的程序所用的库（对象）一般是一个以.a为扩展名的文件。一个常见的例子就是标准的C库，libc.a。 如果不确定程序运行时能得到正确的库文件版本，或者想要测试一个新版的库文件，还不想把它作为共享库文件安装，这时可以使用静态链接。 对gcc来说，在编译/链接时使用-static选项会得到静态链接的程序 gcc –static filename.c –o filename 静态编译出的可执行文件会大很多，因为所有需要的信息和文件都要被放入可执行文件中。 5.3 动态链接 动态链接表示程序和它使用的特定库文件并非链接阶段就被链接在一起。相反，链接器在可执行文件中放入特定信息，告诉加载器（loader）代码在哪一个共享对象模块中以及应该使用哪一个运行时链接器来找到这个对象文件并将它与程序绑定。这意味着程序和共享对象之间的绑定是在运行时完成，且在程序开始执行之前。 这种类型的程序称为部分绑定可执行文件，因为它并非全部（符号或引用）可解析的。链接器在链接时间并不会将程序中引用的符号和库文件的特定代码结合起来。相反，链接器只是留一些类似这样的信息：这个程序调用的这个共享对象的这个函数，我只是记一下这个函数在哪个共享对象中。现在我要继续下面的工作。 共享对象中的符号会被验证以确认它们确实存在，但不会被合并到程序中。 链接器在可执行程序中存储了外部库文件的地址，用于找到哪些无法在程序中找到的符号。这造成的实际效果就是把（符号与代码之间的）绑定推迟到了程序运行时。 动态链接程序使用的共享对象通常使用.so的扩展名。一个最常见的例子就是标准C库libc.so。 动态链接的好处有： 1….
Tanslated from： http://www.tenouk.com/ModuleW.html W.2 对象文件与可执行文件 源文件经历汇编后会变成对象文件（文件名通常以.o为后缀）,再经过链接后，就变成了可执行文件。 对象文件与可执行文件的格式有几种。如Linux上的ELF (Executable and Linking Format) 格式以及Windows上的 COFF (Common Object-File Format). 对象文件格式 描述 a.out Unix上最初的可执行文件格式. 它包含有三个块（sections): text, data, and bss, 分别对应程序代码, 初始化过的数据以及未初始化的数据. 此格式无法包含排错信息。它能包括的唯一排错信息是被编码为一套带有不同属性的符号的、称为stabs的东西。 COFF COFF格式 (Common Object File Format) 由Unix SVR3引入 .可包含多个块, 每个块都有一个”块头(header)”. 块的数量是有限的. COFF标准是包含排错信息的，但是也是有限的。此格式没有文件扩展名。 ECOFF COFF的一种变体. …
Tanslated from： http://www.tenouk.com/ModuleW.html 本文详细介绍了一个C/C++程序从源文件到进程的过程。但它仍然只是我的一个缓冲溢出教程的节选。本文试图解释C/C++源码如何经历预处理（pre-processed）、编译（compiled）、链接（linked）以及最后被加载（loaded）为一个运行的进程（process）的过程。文章基于GCC。如果你使用了某个集成的IDE编程环境，那么这些过程就被这些IDE隐藏了。 W.1 编译器（compiler），汇编器（assembler）和链接器（linker） 不管使用何种操作系统或编程工具，C程序的编译过程一般有四步：预处理，编译，汇编和加载，直至最后变为一个单一的可执行文件。 预处理：处理包含文件，条件编译指令以及宏（Macros） 编译：将预处理过的源文件编译成汇编语言文件 汇编：将汇编语言文件转成带有偏移量的机器指令（assembly listing with offsets）。结果存储在一个对象文件中。 链接：将一个或多个对象文件以及库文件组合成一个（通常是可执行的）文件。在这个过程中，链接器需要解决外部对象的引用,为函数或过程调用和变量分配地址,更改代码块和数据以匹配新的地址（relocation）. 下表列出了源文件的扩展名及其需要进行的处理： 文件扩展名 描述 file_name.c C源文件，需要进行预处理 file_name.i C源文件。不需要预处理。 file_name.ii C++ 源文件。不需要预处理。 file_name.h C 头文件 (不需要编译或链接。). file_name.cc file_name.cp file_name.cxx file_name.cpp file_name.c++ file_name.C C++源文件。需要进行预处理 。对于 file_name.cxx文件名, xx 必须就是两个小写的字母x 而…
如果你在做股票， 你可能会意识到现在量化投资有越来越火的迹象。国内目前几个免费的量化投资平台，像米筐，优矿和聚宽等， 使用的编程语言都是Python。 我想要表达的意思是： 即使你无意从事IT行业， 你也应该学习一门编程语言， 熟练掌握一个操作系统的使用。而计算机或者是一个编程语言， 他们作为一个工具，对各行各业都有很大的影响。随着时间的推移， 这种影响会越来越大。 我也想就此再发挥一下， 聊一点青少年教育的科目问题。我对现在的学校教育最大的不满就是它们的目标。我觉得， 它们的目标是把学生， 我们的下一代， 培养称为一个合格的工人， 如果能让你毕业后找到一份工作， 他们就圆满完成了他的使命。而我理想中的教育， 是要把学生培养称为一个真正的人， 有能力， 有信仰，有追求，有同情心，有使命感。在现在的学校教育中， 我看不到这种迹象。 一个人要在社会上生存发展， 当然需要具备谋生的技能。所以教给学生们这些技能并没有错。错在学校把这个当成教育唯一的任务， 而且绝大部分的学校都在这样做。而且我并不认为国内的顶级院校就能免俗， 只是他们对“工作”的标准要求很高而已。 我觉得， 除了根据学生的特长和兴趣进行有针对行的技能培训以外，每个人从小到大都应该学习以下的内容： 如何了解自身， 了解“人”作为一种生物所具有的属性， 这涉及到生理学， 医疗保健或者说如何促进自身健康的基本知识。人类的心理特征， 性格的发展与形成， 人与他人或者说周围的环境如何互动，人类发展历史等。 了解我们生活的这个物理世界或者说自然环境。 这涉及到植物学，动物学， 天文地理， 数学、化学、物理学以及电子技术等等。 了解我们生存的这个社会。涉及的科目包括心理学（社会心理学， 犯罪心理学等等）， 历史文化， 政治、经济以及宗教。…
每次用的时候都要去读一下文档，这次总结一下，记录于此，已备后用。 其实这个主要是用subprocess这个模块。 最普通的，执行命令，但不管命令的输出： import subprocess return_code = subprocess.call(“ls”,”-ltra”], shell=True) 设置”shell=True” 是告诉python在后台生成一个shell进程，然后在此shell进程中执行相应命令。 这样可以利用到shell中的一些特性，但这样做有安全风险，只有传入的命令完全可控时才这样做。 命令的返回值保存在return_code中。输出则直接输出到屏幕（stdout）。 如果需要获取命令的输出，则用subprocess中的check_output, 而非call： output = subprocess.check_output([‘ls’, ‘-l’]) print ‘Have %d bytes in output’ % len(output) print output ## if the command fails, python throws an CalledProcessError 上面的方式中，如果命令的出错输出（如果有的话）仍然会出现在屏幕上。…
COMPILER, ASSEMBLER, LINKER AND LOADER: A BRIEF STORY http://www.tenouk.com/ModuleW.html Linkers – part I （总共20） http://www.airs.com/blog/archives/38 Linking — chapter 7 of Computer Systems: a programmers’ perspective http://csapp.cs.cmu.edu/2e/ch7-preview.pdf