xmake
/
xmake-docs
zrcadlo https://github.com/xmake-io/xmake-docs


			
				
					
						
						
							123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322
							<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>xmake</title>
  <link rel="icon" href="/assets/img/favicon.ico">
  <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1" />
  <meta name="description" content="Description">
  <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
  <link href="/assets/npm/github-markdown/github-markdown.min.css" rel="stylesheet">
  <style>
	.markdown-body {
		box-sizing: border-box;
		min-width: 200px;
		max-width: 980px;
		margin: 0 auto;
		padding: 45px;
	}

	@media (max-width: 767px) {
		.markdown-body {
			padding: 15px;
		}
	}
  </style>
</head>
<body>
<article class="markdown-body">
<h4>This is a mirror page, please see the original page: </h4><a href="https://xmake.io/#/zh-cn/features/distcc_build">https://xmake.io/#/zh-cn/features/distcc_build</a>
<div id="wwads-panel" class="wwads-cn wwads-vertical wwads-sticky" data-id="239" style="max-width:180px;bottom:20px;right:20px;width:200px;height:260px;background:#fff;position:fixed"></div>
</br>
    <script type="text/javascript" charset="UTF-8" src="https://cdn.wwads.cn/js/makemoney.js" async></script>
<script async type="text/javascript" src="//cdn.carbonads.com/carbon.js?serve=CE7I52QU&placement=xmakeio" id="_carbonads_js"></script>
<style>
#carbonads {
  font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, Oxygen-Sans, Ubuntu,
  Cantarell, "Helvetica Neue", Helvetica, Arial, sans-serif;
}

#carbonads {
  display: flex;
  max-width: 330px;
  background-color: hsl(0, 0%, 98%);
  box-shadow: 0 1px 4px 1px hsla(0, 0%, 0%, .1);
}

#carbonads a {
  color: inherit;
  text-decoration: none;
}

#carbonads a:hover {
  color: inherit;
}

#carbonads span {
  position: relative;
  display: block;
  overflow: hidden;
}

#carbonads .carbon-wrap {
  display: flex;
}

.carbon-img {
  display: block;
  margin: 0;
  line-height: 1;
}

.carbon-img img {
  display: block;
}

.carbon-text {
  font-size: 13px;
  padding: 10px;
  line-height: 1.5;
  text-align: left;
}

.carbon-poweredby {
  display: block;
  padding: 8px 10px;
  background: repeating-linear-gradient(-45deg, transparent, transparent 5px, hsla(0, 0%, 0%, .025) 5px, hsla(0, 0%, 0%, .025) 10px) hsla(203, 11%, 95%, .4);
  text-align: center;
  text-transform: uppercase;
  letter-spacing: .5px;
  font-weight: 600;
  font-size: 9px;
  line-height: 1;
}
</style>
    <p>Xmake 提供了内置的分布式编译服务，通常它可以跟 本地编译缓存，远程编译缓存 相互配合，实现最优的编译的加速。</p>
<p>另外，它是完全跨平台支持，我们不仅支持 gcc/clang，也能够很好地支持 Windows 和 msvc。</p>
<p>对于交叉编译，只要交叉工具链支持，我们不要求服务器的系统环境，即使混用 linux, macOS 和 Windows 的服务器资源，也可以很好的实现分布式编译。</p>
<h3 id="">开启服务</h3>
<p>我们可以指定 <code>--distcc</code> 参数来开启分布式编译服务，当然如果不指定这个参数，xmake 会默认开启所有服务端配置的服务。<br>这里我们假设有 2 台机器作为分布式的编译服务器集群,ip 地址分别是 192.168.22.168,192.168.22.169,两台服务器分别执行下面的脚本</p>
<pre><code class="lang-console">$ xmake service --distcc
<distcc_build_server>: listening 0.0.0.0:9093 ..
</code></pre>
<p>我们也可以开启服务的同时，回显详细日志信息。</p>
<pre><code class="lang-console">$ xmake service --distcc -vD
<distcc_build_server>: listening 0.0.0.0:9093 ..
</code></pre>
<h3 id="daemon">以 Daemon 模式开启服务</h3>
<pre><code class="lang-console">$ xmake service --distcc --start
$ xmake service --distcc --restart
$ xmake service --distcc --stop
</code></pre>
<h3 id="">配置服务端</h3>
<p>我们首先，运行 <code>xmake service</code> 命令，它会自动生成一个默认的 <code>server.conf</code> 配置文件，存储到 <code>~/.xmake/service/server.conf</code>。</p>
<pre><code class="lang-bash">$ xmake service
generating the config file to /Users/ruki/.xmake/service/server.conf ..
an token(590234653af52e91b9e438ed860f1a2b) is generated, we can use this token to connect service.
generating the config file to /Users/ruki/.xmake/service/client.conf ..
<distcc_build_server>: listening 0.0.0.0:9693 ..
</code></pre>
<p>然后，我们编辑它，修复每台服务器的监听端口（可选）。</p>
<pre><code class="lang-bash">$ cat ~/.xmake/service/server.conf
{
    distcc_build = {
        listen = "0.0.0.0:9693",
        workdir = "/Users/ruki/.xmake/service/server/distcc_build"
    },
    known_hosts = { },
    logfile = "/Users/ruki/.xmake/service/server/logs.txt",
    tokens = {
        "590234653af52e91b9e438ed860f1a2b"
    }
}
</code></pre>
<h3 id="">配置客户端</h3>
<p>客户端配置文件在 <code>~/.xmake/service/client.conf</code>，我们可以在里面配置客户端需要连接的服务器地址。</p>
<p>我们可以在 hosts 列表里面配置多个服务器地址，以及对应的 token。</p>
<p>!> 分布式编译，推荐使用 token 认证模式，因为密码模式，每台服务器连接时候都要输入一次密码，很繁琐。</p>
<pre><code class="lang-console">$cat ~/.xmake/service/client.conf
{
    distcc_build = {
        hosts = {
            {
                connect = "192.168.22.168:9693",
                token = "590234653af52e91b9e438ed860f1a2b"
            },
            {
                connect = "192.168.22.169:9693",
                token = "590234653af52e91b9e438ed860f1a2b"
            }
        }

    }
}
</code></pre>
<h4 id="">配置超时</h4>
<p>默认情况下，客户端连接，收发数据都是无限等待不超时的，但是如果访问服务端的网络不稳定，那么有可能会导致访问卡死，这个时候可以配置超时来解决。</p>
<p>如果发生超时异常，就会自动退化到本地编译，不会永远卡死。</p>
<p>我们可以配置，<code>send_timeout</code>, <code>recv_timeout</code> 和 <code>connect_timeout</code> 三种超时，如果在根节点设置，那么所有客户端服务都会生效。</p>
<pre><code class="lang-console">$ cat ~/.xmake/service/client.conf
{
    send_timeout = 5000,
    recv_timeout = 5000,
    connect_timeout = 5000
}
</code></pre>
<p>我们也可以仅仅针对当前分布式构建服务配置超时，其他服务还是默认超时。</p>
<pre><code class="lang-console">$ cat ~/.xmake/service/client.conf
{
    distcc_build = {
        send_timeout = 5000,
        recv_timeout = 5000,
        connect_timeout = 5000,
    }
}
</code></pre>
<p>!> 服务端配置同样支持超时配置。</p>
<h3 id="">用户认证和授权</h3>
<p>关于用户认证和授权，可以参考 <a href="/#/zh-cn/guide/other_features?id=%e7%94%a8%e6%88%b7%e8%ae%a4%e8%af%81%e5%92%8c%e6%8e%88%e6%9d%83">远程编译/用户认证和授权</a> 里面的详细说明，用法是完全一致的。</p>
<h3 id="">连接服务器</h3>
<p>配置完认证和服务器地址后，就可以输入下面的命令，将当前工程连接到配置的服务器上了。</p>
<p>我们需要在连接时候，输入 <code>--distcc</code>，指定仅仅连接分布式服务。</p>
<pre><code class="lang-bash">$ cd projectdir
$ xmake service --connect --distcc
<client>: connect 127.0.0.1:9693 ..
<client>: 127.0.0.1:9693 connected!
</code></pre>
<p>我们也可以同时连接多个服务，比如分布式编译和远程编译缓存服务。</p>
<pre><code class="lang-hash">$ xmake service --connect --distcc --ccache
</code></pre>
<p>!> 如果不带任何参数，默认连接的是远程编译服务。</p>
<h3 id="">分布式编译项目</h3>
<p>连接上服务器后，我们就可以像正常本地编译那样，进行分布式编译了，例如：</p>
<pre><code class="lang-bash">$ xmake
...
[ 93%]: cache compiling.release src/demo/network/unix_echo_client.c         ----> local job
[ 93%]: cache compiling.release src/demo/network/ipv6.c
[ 93%]: cache compiling.release src/demo/network/ping.c
[ 93%]: distcc compiling.release src/demo/network/unix_echo_server.c.         ----> distcc job
[ 93%]: distcc compiling.release src/demo/network/http.c
[ 93%]: distcc compiling.release src/demo/network/unixaddr.c
[ 93%]: distcc compiling.release src/demo/network/ipv4.c
[ 94%]: distcc compiling.release src/demo/network/ipaddr.c
[ 94%]: distcc compiling.release src/demo/math/fixed.c
[ 94%]: distcc compiling.release src/demo/libm/float.c
[ 95%]: cache compiling.release src/demo/libm/double.c
[ 95%]: cache compiling.release src/demo/other/test.cpp
[ 98%]: archiving.release libtbox.a
[ 99%]: linking.release demo
[100%]: build ok!
</code></pre>
<p>其中，带有 distcc 字样的是远程编译任务，其他的都是本地编译任务，默认 xmake 还开启了本地编译缓存，对分布式编译结果进行缓存，避免频繁请求服务器。</p>
<p>另外，我们也可以开启远程编译缓存，跟其他人共享编译缓存，进一步加速多人协同开发的编译。</p>
<h3 id="">断开连接</h3>
<pre><code class="lang-bash">$ xmake service --disconnect --distcc
</code></pre>
<h3 id="">指定并行编译任务数</h3>
<p>我们先简单介绍下，目前根据主机 cpu core 数量默认计算的并行任务数：</p>
<pre><code class="lang-lua">local default_njob = math.ceil(ncpu * 3 / 2)
</code></pre>
<p>因此，如果不开启分布式编译，默认的最大并行编译任务数就是这个 default_njob。</p>
<p>如果开启分布式编译后，默认的并行编译任务数就是：</p>
<pre><code class="lang-lua">local maxjobs = default_njob + server_count * server_default_njob
</code></pre>
<h4 id="">修改本地并行任务数</h4>
<p>我们只需要通过 <code>-jN</code> 就能指定本地并行任务数，但是它不会影响服务端的并行任务数。</p>
<pre><code class="lang-bash">$ xmake -jN
</code></pre>
<h4 id="">修改服务端并行任务数</h4>
<p>如果要修改服务端的并行任务数，需要修改客户端的配置文件。</p>
<pre><code class="lang-bash">$cat ~/.xmake/service/client.conf
{
    distcc_build = {
        hosts = {
            {
                connect = "127.0.0.1:9693",
                token = "590234653af52e91b9e438ed860f1a2b",
                njob = 8   <------- modify here
            },
            {
                connect = "192.168.01:9693",
                token = "590234653af52e91b9e438ed860f1a2b",
                njob = 4
            }
        }
    }
}
</code></pre>
<p>可以对每个服务器主机，添加 <code>njob = N</code> 参数配置，指定这台服务器可以提供的并行任务数。</p>
<h3 id="android">分布式编译 Android 项目</h3>
<p>xmake 提供的分布式编译服务是完全跨平台的，并且支持 Windows, Linux, macOS, Android, iOS 甚至交叉编译。</p>
<p>如果要进行 Android 项目编译，只需要在服务端配置中，增加 <code>toolchains</code> 工具链配置，提供 NDK 的跟路径即可。</p>
<pre><code class="lang-bash">$ cat ~/.xmake/service/server.conf
{
    distcc_build = {
        listen = "0.0.0.0:9693",
        toolchains = {
            ndk = {
                ndk = "~/files/android-ndk-r21e"   <------------ here
            }
        },
        workdir = "/Users/ruki/.xmake/service/server/distcc_build"
    },
    known_hosts = { },
    logfile = "/Users/ruki/.xmake/service/server/logs.txt",
    tokens = {
        "590234653af52e91b9e438ed860f1a2b"
    }
}
</code></pre>
<p>然后，我们就可以像正常本地编译那样，分布式编译 Android 项目，甚至可以配置多台 Windows, macOS, Linux 等不同的服务器主机，做为分布式编译服务的资源，来编译它。</p>
<p>只需要下载对应平台的 NDK 就行了。</p>
<pre><code class="lang-bash">$ xmake f -p android --ndk=~/files/xxxx
$ xmake
</code></pre>
<h3 id="ios">分布式编译 iOS 项目</h3>
<p>编译 iOS 项目更加简单，因为 Xmake 通常能自动检测到 Xcode，所以只需要像正常本地一样，切一下平台到 ios 即可。</p>
<pre><code class="lang-bash">$ xmake f -p iphoneos
$ xmake
</code></pre>
<h3 id="">分布式交叉编译配置</h3>
<p>如果要分布式交叉编译，我们需要在服务端配置工具链 sdk 路径，例如：</p>
<pre><code class="lang-bash">$ cat ~/.xmake/service/server.conf
{
    distcc_build = {
        listen = "0.0.0.0:9693",
        toolchains = {
            cross = {
                sdkdir = "~/files/arm-linux-xxx"   <------------ here
            }
        },
        workdir = "/Users/ruki/.xmake/service/server/distcc_build"
    },
    known_hosts = { },
    logfile = "/Users/ruki/.xmake/service/server/logs.txt",
    tokens = {
        "590234653af52e91b9e438ed860f1a2b"
    }
}
</code></pre>
<p>其中，toolchains 下，每一项对应一个工具链，这里配置为 <code>cross = {}</code> 交叉工具链，对应 <code>toolchain("cross")</code>。</p>
<p>工具链里面我们可以配置 <code>sdkdir</code>, <code>bindir</code>, <code>cross</code> 等等，对应 <code>toolchain("cross")</code> 里面的 <code>set_sdkdir</code>, <code>set_bindir</code> 和 <code>set_cross</code> 等接口配置。</p>
<p>如果交叉工具链比较规范，我们通常只需要配置 <code>sdkdir</code>，xmake 就能自动检测到。</p>
<p>而客户端编译也只需要指定 sdk 目录。</p>
<pre><code class="lang-bash">$ xmake f -p cross --sdk=/xxx/arm-linux-xxx
$ xmake
</code></pre>
<h3 id="">清理服务器缓存</h3>
<p>每个项目在服务端的编译，都会产生一些缓存文件，他们都是按工程粒度分别存储的，我们可以通过下面的命令，对当前工程清理每个服务器对应的缓存。</p>
<pre><code class="lang-bash">$ xmake service --clean --distcc
</code></pre>
<h3 id="">一些内部优化</h3>
<ol>
<li>缓存服务器端编译结果，避免重复编译</li>
<li>本地缓存，远程缓存优化，避免不必要的服务端通信</li>
<li>服务器负载均衡调度，合理分配服务器资源</li>
<li>预处理后小文件直接本地编译，通常会更快</li>
<li>大文件实时压缩传输，基于 lz4 快速压缩</li>
<li>内部状态维护，相比 distcc 等独立工具，避免了频繁的独立进程加载耗时，也避免了与守护进程额外的通信</li>
</ol>
</article>
</body>
</html>