The OpenChain Reference Tooling Work Group held its 16th meeting on the 3rd of June.

You can find the recording of the session as well as the presentation slides here:

https://github.com/Open-Source-Compliance/Sharing-creates-value/tree/master/Tooling-Landscape/Meeting-Material/Meeting-20200603

Catch up on minutes from all previous meetings

• https://github.com/Open-Source-Compliance/Sharing-creates-value/tree/master/Tooling-Landscape/Meeting-Material

Cisco Systems, Inc (Cisco), a Platinum Member of the OpenChain Project, today announces conformance with the industry standard for open source compliance in the supply chain. As a founding member of the OpenChain Project, Cisco has been instrumental in defining, developing and deploying both the standard and its extensive corpus of reference material. Their conformance marks another milestone in the broadening adoption of the standard throughout silicon, embedded, mobile, telecommunications, enterprise, software and cloud market segments.

“It is hard to overstate the important of this announcement,” says Shane Coughlan, OpenChain General Manager. “Over the past three years Cisco has helped to transform the way we can do compliance across complex supply chains. Leading by example, Samantha and her team have taken this opportunity to seek solutions that provide a high return on investment through efficient use of people and time. With OpenChain set to become an ISO standard in the near future, we look forward to continued collaboration and in supporting the broader community seeking excellence in open source governance.”

“Cisco is truly honored to be part of such an important team with the OpenChain Project.  The industry collaboration, synergies and betterment for our open chain community is revolutionary.  We are equally pleased to announce our conformance to this industry standard, as it enables our internal teams to understand ‘why’ behind the compliance rigor.  Having established internal policies, processes and tooling automation, which can be measured and benchmarked with OpenChain is one of our major value drivers.  We look forward to continuing our partnership with OpenChain Projects and our peer industry partners, as software innovates for years to come.” Samantha Elliott, Open Source Leader.

About Cisco

Cisco (NASDAQ: CSCO) is the worldwide technology leader that has been making the Internet work since 1984. Our people, products, and partners help society securely connect and seize tomorrow’s digital opportunity today. Discover more at newsroom.cisco.com and follow us on Twitter at @Cisco. RSS Feed for Cisco: http://newsroom.cisco.com/rss-feeds

About the OpenChain Project

The OpenChain Project builds trust in open source by making open source license compliance simpler and more consistent. The OpenChain Specification defines a core set of requirements every quality compliance program must satisfy. The OpenChain Curriculum provides the educational foundation for open source processes and solutions, whilst meeting a key requirement of the OpenChain Specification. OpenChain Conformance allows organizations to display their adherence to these requirements. The result is that open source license compliance becomes more predictable, understandable and efficient for participants of the software supply chain.

About The Linux Foundation

The Linux Foundation is the organization of choice for the world’s top developers and companies to build ecosystems that accelerate open technology development and industry adoption. Together with the worldwide open source community, it is solving the hardest technology problems by creating the largest shared technology investment in history. Founded in 2000, The Linux Foundation today provides tools, training and events to scale any open source project, which together deliver an economic impact not achievable by any one company. More information can be found at www.linuxfoundation.org.

The Linux Foundation has registered trademarks and uses trademarks. For a list of trademarks of The Linux Foundation, please see our trademark usage page: https://www.linuxfoundation.org/trademark-usage. 

Linux is a registered trademark of Linus Torvalds.

Media Contacts

Shane Coughlan
+818040358083
scoughlan@linuxfoundation.org

The OpenChain Project has launched a series of bi-weekly free webinars that provide access to people and knowledge that we would otherwise obtain at events. To supplement these webinars we are preparing and releasing a series of contributor interviews alongside announcements.

Our first ‘OpenChain Webinar Condensed’ features Armijn Hemel explaining his new contribution of build instructions to the OpenChain Reference Library.

Get this guide and many more documents in the OpenChain Reference Library:

• https://github.com/OpenChain-Project/Reference-Material

Check out the full webinar series

• https://www.openchainproject.org/webinars-interviews

はじめに

こんにちは。あるいは、はじめまして。二度目ましての方も、おいででしょうかね。
オープンソース（OSS）の利活用コンサルをしています、渡邊歩です。好きなOSSライセンスは、Beerware Licenseです。
今回は本業のテーマで、「OSS管理のベストプラクティス」の必須要素である「組織」、「ポリシー」、「（正しい）知識」、「ツール」について書かせていただこうと思います。
OSSコンプライアンスって何から始めればいいの？OSS管理ツールってたくさんあるけどそれぞれどう違うの？というような方のお役に立てれば幸いです。

組織（Open Source Program Office/OSPO）について

Linux Foundation TODOグループのオープンソースプログラムの作成では、OSPOは「オープンソースをサポートし、育成し、共用し、説明し、成長させていくために企業内で中心となる組織」と定義されています。組織、というととても専門的で大規模なものを想像するかもしれませんが、少人数だったり他の業務との兼務だったりと、その形態は企業・組織によって様々です。
これまで多くの企業・組織のOSPOの設立をご支援してきた中で、その成立ちを大きく分類すると下図のようになります。どのモデルにもそれぞれメリット・デメリットがありますので、それらを意識しながら推進していくことが重要です。

成功するOSPOの共通点というと、必要であれば会社の規則を変えたり製品の出荷を止めたりできるような「権限」があることと、企業・組織としてコンプライアンスを推進するのだという「使命」があることでしょうか。また、ルール主導にならないよう、開発チームと密に連携して無理のないプロセスを構築していくことも、成功の秘訣です。

ポリシーについて

OSS管理って何から手をつければ良いんですか？という質問をいただくことがありますが、私はまず「OSSポリシーを作りましょう」とご提案します。OSSポリシーとは、企業または組織がOSSとどのように関わっていくかという指針を定めたもので、様々なシーンで判断をする際の拠り所になります。
OSSポリシーにも色々な形式、粒度がありますが、私が一般的におすすめしているのは下記の形式です。

ポリシーで定めた内容を詳細化し読み物の形にした「ガイドライン」や、組織のメンバーに理解・浸透させるための「教育資料」の形に転用することもできます。

正しい知識について

今年は、たくさんの会社様からOSS教育のご依頼をいただきました。OSSの活用そのものが増えてきていることに加え、「正しく基礎的な知識を全員が持っていること」が重要視されてきているように思います。
OpenChain Japan WGでは、関係する方々全員に正しい理解をしていただくためのリーフレット「オープンソースソフトウェアライセンス遵守のための一般公衆ガイド」を作成しました。（詳しくは12月8日のSat_Uさんの記事をご覧ください！）
このガイドは、日本語版が作成された後、英語や中国語などに翻訳されています。海外の取引先にOSSコンプライアンスについて知って貰いたい方は是非この翻訳版のガイドを活用してください。

ツール（OSS管理ツール）について

ここでは、ソフトウェアを解析し、内包するOSSを検出するツールのことをOSS管理ツールと呼びます。
OSS管理ツールも様々なものがありますよね。結局のところ、どれがいいの？と迷われる方も多いと思いますので、選ぶ際の観点とおすすめツールを纏めてみました。

観点その1：OSSを改変して使っているか
OSS管理ツールの基本的なアプローチは、解析対象ファイルから算出したハッシュ値と、予め算出して蓄えてあるOSSのハッシュ値とを比較する「ファイルマッチング」という方法です。ほとんどのツールには「あいまいマッチ検出」の機能があるので、軽微な改変であれば検出することができますが、改変の度合いと検出率は相反関係になります。
改変されたOSSの検出を可能にするため、いくつかのOSS管理ツールでは「スニペットマッチング」というアプローチをとっています。これは、ファイルの一部分だけが似ているようなOSSを特定することができ、OSSの意図しない混入（コンタミネーション）を検出することができます。
as-isのOSSのライブラリを参照しているだけ、というような方であればファイルマッチングができるOSS管理ツールで十分ですし、組込み開発などでOSSの改変が必須の方であれば、スニペットマッチングができるOSS管理ツールを選んでください。

このカテゴリのおすすめツール：
・Black Duck（ファイルマッチング・スニペットマッチング）
・White Source（ファイルマッチング）

観点その2：独自ビルドのバイナリファイルを解析する必要があるか
OSSのバイナリファイルをas-isで使用している場合であれば、上述の「ファイルマッチング」でカバーできますが、独自ビルドのバイナリファイルは、ビルド環境やオプション等によりハッシュ値が変わりますので、特別なアプローチが必要です。元にしたソースファイルが手元にある場合はもちろん、ソースファイルを解析すれば良いのですが、外部からの購入品などでバイナリファイルしか手元にない場合もありますので、そのような方は独自ビルドのバイナリファイルを解析する機能を持ったツールを選んでください。

このカテゴリのおすすめツール：
・Black Duck
・Insignary Clarity

観点その3：依存関係の解析
取り込んだOSSが更に別のOSSを取り込んでいて、突き詰めていくとGPLライセンスのライブラリが入っていた・・・という「あるある」を経験したことのある方も多いのではないでしょうか。このような「入れ子構造」になっているライセンスのことを「Deep License」と呼びます。このようなDeep Licenseを調べるには、パッケージ毎の依存関係（どのパッケージが、どのパッケージを内包しているか）を調べなければなりません。
Deep Licenseを詳しく調べたい方は、パッケージマネージャの依存関係を示すファイルを解析しパッケージの依存関係を可視化してくれる機能を持ったツールを選んでください。

このカテゴリのおすすめツール：
・FOSSA

明日のテーマは・・・

明日の担当は、tech_nomad_さん。「OSSと特許侵害」という、とても気になる！でも難しくて解らない！というテーマを語ってくださいます。控えめに言ってもめっちゃためになります。明日もお楽しみに！！

お役立ちリンク

この投稿を読んでくださった方から「これも参考になるよ！」と教えていただいた情報を載せておきます。こういうやりとりもコミュニティの良さですよね！
・Open Source Program Offices: The Primer on Organizational Structures, Roles and Responsibilities, and Challenges

Andrew Katz, Managing Partner at Moorcrofts and CEO of Orcro (both OpenChain partners), will lead an OpenUK webinar on the topic of OpenChain in M&A. This issue is increasingly important in our eco-system, reflecting that outside of product procurement, structured open source compliance approaches are in demand and offer significant benefits.

Learn More on the OpenUK site

• https://openuk.uk/event-calendar/ma-and-open-chain/

MAY 27, SAN FRANCISCO – Today the OpenChain Project is delighted to announce OPPO as our latest Platinum Member. As a Platinum Member of the project OPPO will provide strategic oversight on the governing board, the steering committee and the outreach committee. While OpenChain has had an active China Work Group since 2019, OPPO is the first work group participant to join the project governing board, and their contribution will be invaluable as OpenChain becomes an ISO standard.

“The OpenChain Project has been extremely fortunate in working with a wide range of Chinese companies during the last 18 months,” says Shane Coughlan, OpenChain General Manager. “Our deep relationship with OPPO is a direct consequence of this, and with their help we are looking forward to inspiring and leading a diverse range of Chinese innovators, international manufacturers and global supply chain companies towards adoption of our industry standard. In the next few months we will see some transformative activities around OpenChain and more generally open source compliance. OpenChain will become an ISO standard. SPDX will increasingly be deployed for Software Bill of Materials. Open Source Reference Tooling will emerge for multiple sectors. I am looking forward to working with the team at OPPO to help ensure that companies of every size and in every market can continually have access to the most efficient, effective and appropriate approaches to managing open source.” 

“OPPO is delighted to join the OpenChain Project and establish a deeper engagement with the global open source community as our business and research effort grow,” Andy Wu, Vice President and President of Software Engineering Business Unit, OPPO. “With the presence of our smartphone and services in more than 40 global markets and research institutes across the world, OPPO looks forward to working with developers and partners through open source development and OpenChain Project, with its efficient and comprehensive solutions, tremendously increased the efficiency of our collaborative innovation. OPPO values openness and collaboration greatly and will be an active member in OpenChain Project to contribute to its long-term success and adoption with fellow partners.”

About OPPO

OPPO is a leading global smart device brand. Since the launch of its first mobile phone – “Smiley Face” – in 2008, OPPO has been in relentless pursuit of the perfect synergy of aesthetic satisfaction and innovative technology. Today, OPPO provides a wide range of smart devices spearheaded by the Find X and Reno series. Beyond devices, OPPO provides its users with the ColorOS operating system and internet services like OPPO Cloud and OPPO+. OPPO operates in more than 40 countries and regions, with 6 Research Institutes and 4 R&D Centers worldwide, as well as an International Design Center in London. More than 40,000 of OPPO’s employees are dedicated to creating a better life for customers around the world.

About the OpenChain Project

The OpenChain Project builds trust in open source by making open source license compliance simpler and more consistent. The OpenChain Specification defines a core set of requirements every quality compliance program must satisfy. The OpenChain Curriculum provides the educational foundation for open source processes and solutions, whilst meeting a key requirement of the OpenChain Specification. OpenChain Conformance allows organizations to display their adherence to these requirements. The result is that open source license compliance becomes more predictable, understandable and efficient for participants of the software supply chain.

About The Linux Foundation

The Linux Foundation is the organization of choice for the world’s top developers and companies to build ecosystems that accelerate open technology development and industry adoption. Together with the worldwide open source community, it is solving the hardest technology problems by creating the largest shared technology investment in history. Founded in 2000, The Linux Foundation today provides tools, training and events to scale any open source project, which together deliver an economic impact not achievable by any one company. More information can be found at www.linuxfoundation.org.

The Linux Foundation has registered trademarks and uses trademarks. For a list of trademarks of The Linux Foundation, please see our trademark usage page: https://www.linuxfoundation.org/trademark-usage. 

Linux is a registered trademark of Linus Torvalds.

Media Contacts

Shane Coughlan
+818040358083
scoughlan@linuxfoundation.org

　

はじめに

OSSライセンス スキャナーであるFOSSologyを利用すると、OSSパッケージ毎のソース コード解析→SPDXファイルの出力が可能です。
しかし、ソース コードをパッケージ毎にWeb UIからFOSSologyへ送るのは手間がかかるため、meta-spdxscannerを利用して、Yoctoでビルドしながら、FOSSologyへソース コードを送信、解析、SPDXファイルを出力する環境の構築方法をまとめてみました。

今回、構築する環境は、以下のような感じです。

ホスト環境は、Ubuntu 18.04やAWS（Amazon Linux）など、dockerが使えれば何でもよいです。
青枠がdockerコンテナです。
FOSSologyやYoctoビルド環境をdockerコンテナで構築し、Yoctoビルド環境のdocker上にFOSSologyとアクセスするためのfossdriverをインストールします。
※FOSSologyやYoctoビルド環境についての説明は割愛します。

FOSSology環境の構築

FOSSology のdockerイメージを取得します。
最新版は3.6.0版ですが、fossdriver経由で動作しないので、3.5.0版を取得します。
追記：fossdriverが、FOSSology-3.6.0に対応したようです。（https://github.com/fossology/fossdriver/commit/efbbd51ae407e78cd8f969b2cdc3c243b31ade2a）

$ sudo docker pull fossology/fossology:3.5.0

FOSSology dockerを起動します。

$ sudo docker run -d -p 8081:80 --name fossology-3.5.0 fossology/fossology:3.5.0

-p 8081:80は、外部アクセスされるポート番号:dockerコンテナ側のポート番号を指定します。
-dは、バックグラウンド実行です。

docker psで、dockerコンテナが起動したことは確認できますが、念の為、docker logsで起動状況（--tail=20で、最新ログ20行だけ）を表示します。

$ sudo docker logs --tail=20 fossology-3.5.0
　：
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ********************************************
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ***   FOSSology scheduler started        ***
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ***   pid:      PID1                     ***
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ***   verbose:  3                        ***
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ***   config:   /usr/local/etc/fossology ***
YYYY-MM-DD hh:mm:ss scheduler [PID1] :: NOTE: ********************************************
AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 172.17.0.X. Set the …
AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 172.17.0.X. Set the …
[………] [mpm_prefork:notice] [pid PID2] AH00163: Apache/2.4.25 (Debian) configured …
[………] [core:notice] [pid PID2] AH00094: Command line: '/usr/sbin/apache2 -D FOREGROUND'

※YYYY-MM-DD⇒年-月-日、hh:mm:ss⇒時:分:秒、PID1⇒FOSSologyスケジューラのpid番号
[………]⇒apacheの起動年月日と時間、PID2⇒apacheのpid番号

最後のapache2 -D FOREGROUNDのログが出ていれば、起動できています。

fossdriverのインストール

Yoctoビルド環境のdockerコンテナ上にインストールします。
今回、Yoctoビルド環境のベースとなったdockerコンテナは、Ubuntu 16.04のdockerイメージより作成しており、そのdockerイメージにはPython3.5をインストールしましたが、Python3.6でも動作可能なことは確認済です。
以下、dockerコンテナにyoctoユーザを作成し、ホーム ディレクトリ上で作業します。

$ git clone https://github.com/fossology/fossdriver.git
$ pip3 install -e /home/yocto/fossdriver

インストールされたか確認します。

$ pip3 list
beautifulsoup4 (4.7.1)
bs4 (0.0.1)
certifi (2019.6.16)
chardet (3.0.4)
command-not-found (0.3)
fossdriver (0.0.2, /home/yocto/fossdriver)　★インストールできている
：

fossdriverの設定ファイルを作成します。
冒頭で説明した環境の通り、dockerホストのポート8081経由でFOSSologyにアクセスできるので、そのように設定します。

$ vi ~/.fossdriverrc
{
        "serverUrl": "http://172.17.0.1:8081",
        "username": "fossy",
        "password": "fossy"
}

fossdriver経由で、FOSSologyへソース コードを送信してSPDXファイルを出力するテスト コードを置いたので、動作確認用にご利用ください。
使用例：

$ ./fossdriver-test.py <source-code.tar.gz> <SPDXファイル出力パス>

meta-spdxscannerレイヤ追加と設定ファイル更新

Yoctoビルド環境に、meta-spdxscannerレイヤを追加します。
以降、pokyディレクトリ以下での作業を想定しています。

$ git clone https://github.com/dl9pf/meta-spdxscanner

Yoctoのリリース版数にマッチするブランチがありますが、Sumo以降であれば、masterブランチで動作することを確認済です。
（MortyやPyroなど、古いYocto環境だと、動作しない可能性があります）

ビルド ディレクトリ配下のレイヤ設定ファイル（conf/bblayers.conf）に、meta-spdxscannerを追加します。（xxxは任意のパス）

　：
BBLAYERS ?= "\
　：
    /xxx/poky/meta \
    /xxx/poky/meta-poky \
　：
    /xxx/poky/meta-spdxscanner \　　★追加

ビルド ディレクトリ配下のYocto設定ファイル（conf/local.conf）に、fossdriverを経由して、ソース コードのスキャン＆SPDXファイル出力できるよう、記述を追加します。（xxxは任意のパス）

　：
# Use spdxscanner
INHERIT += "fossdriver-host"
SPDX_DEPLOY_DIR = "/xxx/SPDX"　　★事前に作成しておいたディレクトリをfull-pathで指定

パッケージングされないOSSパッケージ（*-nativeパッケージなど）をソース コードのスキャン＆SPDXファイル出力対象外にする場合は、meta/classes/nopackages.bbclass に以下を追加します。

　：
deltask do_spdx　　　★最下行に追加

ここまで設定が終わったら、あとはbitbakeすると、パッチ適用されたソース コードがFOSSologyへ送信され、スキャン＆SPDXファイル出力まで自動で行われます。
出力ディレクトリを確認すると、以下のようにSPDXファイルが出力されます。

$ ls -l /xxx/SPDX/
total 232200
-rw-rw-r-- 1 <user> <group>    <size> <MM DD xxxx> acl-<version>.spdx
　：
-rw-rw-r-- 1 <user> <group>    <size> <MM DD xxxx> zip-<version>.spdx
-rw-rw-r-- 1 <user> <group>    <size> <MM DD xxxx> zlib-<version>.spdx

※<user> <group>ファイル所有のユーザ/グループ属性、※<size>⇒ファイル サイズ、
　<MM DD xxxx>⇒年月日/月日時、<version>⇒ソース スキャンしたパッケージ版数

一例ですが、出力されるSPDXファイル（zlib-1.2.11）は以下の通りです。
zlib-1.2.11.spdx

今回は、fossdriverを利用する方法について記述しましたが、REST API（fossdriver無し）経由でFOSSologyへソース コードを送信することが可能です。こちらについては、REST API利用編で記述します。

また、FOSSologyの問題（大きいサイズのソース コードを送ると応答がなくなる、出力されるSPDXファイルのPackage License Declaredフィールドが”NOASSERTION”になる、etc…）に関する回避策なども、別記事で記述します。

Sami Atabani, one of the founders of the OpenChain Project and our board member from Arm, will provide a webinar to the OpenUK Future Leaders’ Training series on OpenChain compliance. Catch him at 12pm UK Time (GMT+1) on May 22nd.

Learn More and Sign Up

• https://openuk.uk/event-calendar/intro-to-open-chain-compliance/