Conan: C++包管理工具

包管理一直是c/c++项目开发过程中的痛苦之处。由于出现历史太早,c/c++发展初期并没有现代的包管方案的概念,这部分一直需求一直被忽略。

等到开发者想起要解决这个问题时,发现c/c++与硬件结合太过于紧密,支持太多的平台,在平台适配上有大量的工作需要处理,对于一个编译型语言,需要包管理需要能够正确的处理不同的平台上的二进制兼容问题或者源码编译问题,这导致想基于现有的代码来实现一个现代化的c\c++的包管理系统基本上是一个不可能完成的任务。于是开发者很明智的选择了rust。

尽管如此,人们还是给出了一些折衷的结局方案,包括linx上的apt,mac上的brew,windows上的nutget等方案。其中apt的方案主要解决二进制分发问题,对版本的控制较弱。其中brew/nutget等已经初具一个现代化包管理系统的雏形了。

在这包管理的基础上,出现像conan/vcpkg/buckaroo这样比较优秀的现代化的包管理系统。本文将着重介绍conan的基本概念和主要使用方法。

Conan核心概念

编译配置

在给定版本的源码情况下,的如何来识别构建的二进制是否兼容,对于c\c++程序来说,这是一个不能完成的任务,因为同一份源码,可以获得完全不同的结果,这回设计到编译器/目标平台等各种因素。甚至一个简单的宏开关,都会导致编译的二进制结果时完全不同的。

Conan通过settings/options来识别一个源码编译出来的结果是否为同一份二进制。一个常见的conan配置如下:

> conan profile show default
Configuration for profile default:

[settings]
os=Windows
os_build=Windows
arch=x86_64
arch_build=x86_64
compiler=Visual Studio
compiler.version=15
build_type=Release
[options]
[build_requires]
[env]

即在给定的profile下,对于同一份源码,应该要生成同样的二进制文件。

引用

Conan的另外一个概念叫做reference,reference的组成如下

Pkg/version@user/channel

例如

qt/5.6.3@iceyer/stable
qt/5.6.3@bincrafters/stable
dtkcore/2.0.9@iceyer/stable
dtkcore/2.0.9@iceyer/testing
dtkwidget/2.0.9@iceyer/stable

Pkg和version比较容易理解,代表包名和版本,user代表创建包的用户,stable表示这个包的发布通道。
不同用户创建的包其实没啥关系的,总之一个完整的reference才能代表一份源码。

有了源码和编译配置,我们很自然的想到了,可以用来构建我们需要的二进制了。Conan中的package是指的根据profile构建出来的二进制文件的集合,这个一定要搞清楚。在一个reference下,我们可以根据不同的参数来构建不同的package,如构建不同os的版本,构建包含不同特性的版本等。用一张官方的图来解释下:

https://docs.conan.io/en/latest/_images/package_create_flow.png

通过上面的图,聪明的同学一定发现槽点了:conan是基于python的,并且是和cmake强绑定的… 特别是cmake这种面向字符串编程的工具,似乎有着成为c++构建工具的事实标准的趋势发展。

实战Windows静态程序构建

目前Windows下的包管理一直是粗犷的拷贝式管理,这导致了很多工程实践上的不便。通过Conan,我们可以很好来解决这些问题。以dtkcore为例,我们将描述如果构建一个静态的dtkcore。

首先我们需要一个静态构建的qt,这部分比较复杂,这里暂时不展开了,可以通过添加一个remote仓库来使用已经构建好的:

conan remote add iceyer https://api.bintray.com/conan/iceyer/lib

创建Conan包

通过conan new可以创建一个包描述文件,我们在dtkcore源码目录执行如下命令创建一个conan模板文件conanfile.py:

conan new dtkcore/2.0.9@iceyer/stable

通过修改conanfile.py,可以让dtkcore构建可用的二级制包,最终的conanfile.py如下:

from conans import ConanFile, tools


class DtkcoreConan(ConanFile):
    name = 'dtkcore'
    version = '2.0.9'
    license = 'GPL'
    author = 'Iceyer me@iceyer.net'
    url = 'https://github.com/linuxdeepin/dtkcore'
    description = 'cross platform ui library'
    topics = ('qt', 'dtk')
    settings = 'os', 'compiler', 'build_type', 'arch'
    options = {'shared': [True, False]}
    default_options = 'shared=False'
    generators = 'qmake'
    exports_sources = '*'
    requires = 'jom_installer/1.1.2@bincrafters/stable', 'qt/5.6.3@iceyer/stable'

    def extend_include_path(self):
        return '%s/include/libdtk-%s/DCore' % (self.package_folder, self.version)

    # def source(self):
    #     self.run('git clone https://github.com/linuxdeepin/dtkcore.git source')
    #     self.run('cd source && git checkout 2.0.9.9')

    def build(self):
        outdir = self.build_folder
        # includedir = outdir + '/include'
        mkspecsdir = outdir + '/mkspecs'
        # libdir = outdir + '/lib'

        env_vars = tools.vcvars_dict(self.settings)
        env_vars['_CL_'] = '/utf-8'
        with tools.environment_append(env_vars):
            command = 'qmake -r'
            command += ' VERSION=%s' % self.version
            # command += ' CONFIG-=debug_and_release'
            # command += ' CONFIG-=debug_and_release_target'
            command += ' CONFIG+=release'
            command += ' PREFIX=%s' % outdir
            command += ' MKSPECS_INSTALL_DIR=%s' % mkspecsdir
            if self.options.shared == False:
                command += ' DTK_STATIC_LIB=YES'
            command += ' DTK_STATIC_TRANSLATION=YES'
            command += ' DTK_NO_MULTIMEDIA=YES'
            command += ' %s' % self.source_folder
            self.run(command)
            self.run('jom clean')
            self.run('jom')
            self.run('jom install')

    def package(self):
        self.update_path(self.build_folder)

        outdir = self.build_folder
        self.copy('*', dst='include', src=outdir+'/include')
        self.copy('*.lib', dst='lib', src=outdir+'/lib')
        self.copy('*.dll', dst='lib', src=outdir+'/lib')
        self.copy('*', dst='mkspecs', src=outdir+'/mkspecs')

    def package_info(self):
        self.cpp_info.libs = ['dtkcore']
        self.cpp_info.includedirs.append(self.extend_include_path())
        self.env_info.QMAKEPATH = self.cpp_info.rootpath
        self.env_info.QMAKEFEATURES = self.cpp_info.rootpath + '/mkspecs/features'

    def deploy(self):
        self.update_path(self.package_folder)

    def update_path(self, source):
        try:
            content = []
            module_pri = source + '/mkspecs/modules/qt_lib_dtkcore.pri'
            s = open(module_pri)
            for line in s.readlines():
                if line.startswith('QT.dtkcore.tools'):
                    line = 'QT.dtkcore.tools = %s\n' % (
                        self.package_folder + '/bin')
                elif line.startswith('QT.dtkcore.libs'):
                    line = 'QT.dtkcore.libs = %s\n' % (
                        self.package_folder + '/lib')
                elif line.startswith('QT.dtkcore.includes'):
                    line = 'QT.dtkcore.includes = %s\n' % (
                        self.extend_include_path())
                content.append(line)
            s.close()

            # print('create module file', content)
            s = open(module_pri, 'w')
            s.writelines(content)
        except FileNotFoundError:
            print('skip update qt module file')

Conan配置

其中DtkcoreConan属性部分大部分是关于包的一些描述信息,可以不用关心,其中需要注意的几个属性和方法是:

requires

    requires = 'jom_installer/1.1.2@bincrafters/stable', 'qt/5.6.3@iceyer/stable'

这个描述了dtkcore的依赖信息,对与windows来说,有qt就足够了,更复杂的情况,可以通过requires方法来返回不同平台对应的依赖。

build(self)

在命令行执行conan build时,会调用这个方法,需要在这里完成源码的构建。注意这里通过tools.vcvars_dict来导入的windows平台的Visual Studio的构建环境,这个在不同平台需要做相应的处理。当然,对于cmake程序可以使用Conan官方提供的工具,由于dtkcore时通过qmake构建的,这里需要实现构建过程。

Dtkcore在这里主要完成了windows平台编译环境导入和调用qmake/jom进行构建等功能。

package(self)

在命令行执行conan package时,会调用这个目录,将编译结果拷贝到self.package_folder目录。由于dtkcore使用了qt的module功能,这个东西需要绝对路径,所以这里会实现一个update_path将qt_lib_dtkcore.pri里面的路径修改为真实的安装路径。

package_info(self)

在其他程序使用这个库时,会调用这个方法获取库信息,主要可以配置的东西有环境变量已经cpp的构建信息,参考如下:https://docs.conan.io/en/latest/reference/conanfile/attributes.html#cpp-info

Dtk由于要支持qt风格的引入方式,会添加一个额外的includepath,也是通过这里来处理的。

deploy(self)

这里时将包给其他人使用时,使用者将包安装到自己系统路径时调用的方法,注意这里如果需要修改一些路径问题,也会在这里处理。

Conan使用

在构建好dtkcore/dtkwidget后,就可以在其他地方使用了,以deepin-boot-maker为例,在deepin-boot-maker源码中添加一个构建描述文件:

from conans import ConanFile, CMake, tools


class DeepinbootmakerConan(ConanFle):
    name = "deepin-boot-maker"
    version = "2.0.4.8"
    license = "<Put the package license here>"
    author = "<Put your name here> <And your email here>"
    url = "<Package recipe repository url here, for issues about the package>"
    description = "<Description of Deepinbootmaker here>"
    topics = ("<Put some tag here>", "<here>", "<and here>")
    settings = "os", "compiler", "build_type", "arch"
    options = {"shared": [True, False]}
    default_options = "shared=False"
    generators = "qmake"
    requires = 'dtkcore/2.0.9@iceyer/stable', 'dtkwidget/2.0.9@iceyer/stable', 'OpenSSL/1.0.2n@conan/stable', 'jom_installer/1.1.2@bincrafters/stable'

    def build(self):
        outdir = self.build_folder

        env_vars = tools.vcvars_dict(self.settings)
        env_vars['_CL_'] = '/utf-8'
        with tools.environment_append(env_vars):
            command = 'qmake -r'
            command += ' VERSION=%s' % self.version
            # command += ' CONFIG-=debug_and_release'
            # command += ' CONFIG-=debug_and_release_target'
            command += ' CONFIG+=release'
            command += ' PREFIX=%s' % outdir
            command += ' DEFINES+=DTK_STATIC_LIB'
            command += ' DTK_STATIC_TRANSLATION=YES'
            command += ' DTK_NO_MULTIMEDIA=YES'
            command += ' %s' % self.source_folder
            self.run(command)
            # self.run('jom clean')
            self.run('jom')
            self.run('jom install')

然后使用如下命令构建即可:

mkdir build 
cd build
conan install ..  -s compiler.runtime=MT -s arch=x86 -o qt:qtsvg=True -o qt:qttools=True
conan build ..

conan 会自动从远处下载好依赖,并使用依赖进行构建。

总结

Conan很好的解决了c\c++项目中的源码管理和编译配置管理的问题,并提供了强大的中心化二进制管理和分发功能,基于python的conanfile.py的配置文件有及其强大的扩展性,可以很好解决c\c++项目中的二进制管理问题。

参考

dtk项目实现windows下面的conan支持可以参考如下CL:

https://cr.deepin.io/c/dtkcore/+/40789
https://cr.deepin.io/c/dtkwidget/+/40790
https://cr.deepin.io/c/deepin-boot-maker/+/40791

conan官方文档:

https://docs.conan.io/

3 条思考于 “Conan: C++包管理工具

    1. 头像lihe 文章作者

      现在由于dtk有点过于依赖qmake构建,导致打包的东西无法直接使用。
      后续应该会迁移到cmake构建,那是应该会比较好的支持conan了。
      这个计划估计会会在3月份前完成吧…

发表评论

电子邮件地址不会被公开。 必填项已用*标注