reproducible_build: Work around caching issues

SOURCE_DATE_EPOCH can be expanded early in the parsing process before
the class extensions are applied. This can mean the directory pointed
to for the SDE can be incorrect until later in parsing. Cache the file
name in the cached value and allow it to dynamically update.

This isn't ideal but avoding expansion of the variable likely isn't
possible and I'm not sure how else to handle this. This works around
the issue until a better solution can be found.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

abi_version/sstate: Bump HASH_VERSION and SSTATE_VERSION

At this point the hash equivalence and sstate is 'junk' on the autobuilder
unforuntately due to the volume of fixes and also the volume of slighly
not quite right patches tested during the development of the fixes.

In order to try and help any remaining sanity I might have, bump the
version numbers to start with a clean slate so we're working from a known
good baseline rather than risk chasing phantom issues. For those
upgrading, there wouldn't be much reuse anyway after the changes.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

image-artifact-names: Use SOURCE_DATE_EPOCH when making reproducible builds for deploy

Using DATETIME means the do_deploy output is not deterministic. Use SDE
when using reproducible builds since it is consistent for given input data.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

python3: Drop broken pyc files

The underlying py files are editted so delete the now incorrect pyc files.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

sstatesig: Add processing for full build paths in sysroot files

Some files in the populate_sysroot tasks have hardcoded paths in them,
particularly if they are postinst-useradd- files or crossscripts.

Add some filtering logic to remove these paths.

This means that the hashequiv "outhash" matches correcting in more
cases allowing for better build artefact reuse.

To make this work a new variable is added SSTATE_HASHEQUIV_FILEMAP
which maps file globbing to replacement patterns (paths or regex)
on a per sstate task basis. It is hoped this shouldn't be needed
in many cases. We are in the process to developing QA tests which
will better detect issues in this area to allow optimal sstate
reuse.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

externalsrc: Fix a source date epoch race in reproducible builds

When reproducible builds are enabled and externalsrc is in use, the
source date epoch function is added. The conditions on the conditional
code removing the unpack task need to match the deltask function, else
the source date epoch function can end up running twice and the functions
can race with each other causing build failures or corruption.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bitbake.conf: Set vardepvalue for PARALLEL_MAKEINST

If you leave PARALLEL_MAKEINST at its default from PARALLEL_MAKE,
sstate checksums are fine and don't change as the number of cores do.
If you override it to a specific value, this does the cause the sstate
checksums to change. We don't want the checksums to change if the
value of this variable differs.

Therefore set a vardepvalue so a specific value is used for checksum
purposes.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

wic/bootimg-efi: Add Unified Kernel Image option

"A unified kernel image is a single EFI PE executable combining an EFI
stub loader, a kernel image, an initramfs image, and the kernel command
line.

[...]

Images of this type have the advantage that all metadata and payload
that makes up the boot entry is monopolized in a single PE file that can
be signed cryptographically as one for the purpose of EFI
SecureBoot."[1]

This commit adds a create-unified-kernel-image=true option to the
bootimg-efi plugin for creating a Unified Kernel Image[1] and installing
it into $BOOT/EFI/Linux/ with a .efi extension per the the Boot Loader
Specification[1][2]. This is useful for implementing Secure Boot.

systemd-boot is the only mainstream bootloader implementing the
specification, but GRUB should be able to boot the EFI binary, this
commit however doesn't implement the necessary changes to the GRUB
config generation logic to boot the Unified Kernel Image.

[1] https://systemd.io/BOOT_LOADER_SPECIFICATION/#type-2-efi-unified-kernel-images
[2] https://systemd.io/BOOT_LOADER_SPECIFICATION/

Signed-off-by: Kristian Klausen <kristian@klausen.dk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

sstatesig: Revert "Test cross/native hashserv method extension"

This reverts commit 2a76082363d189880613765ad339718e3614049d.

We have an issue where x86 host builds are not matching hashes with
aarch64 host builds. We'd expect that for a given target, the target
artefacts should work regardless of the host architecture, compiler
version etc. but this isn't happening and the hashes are differing.
This is due to issues from hash equivalence.

I believe the commit being reverted was added as a test and there were
other fixes at the time which resolved these issues.

As illustration of that, different gcc versions are not cauing issues
with hash equivalence. That should be similar to the aarch64 case vs.
x86-64 and hence if we're not seeing gcc verison issues, we also don't
need this special case. As such, revert it as we don't need it and it
is in fact breaking sstate reuse cross platform.

[YOCTO #14578]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

image: Exclude IMAGE_VERSION_SUFFIX from expansion in image tasks

Similarly to DATETIME, exclude IMAGE_VERSION_SUFFIX from expansion in
image tasks to ensure the sstate signatures are calculated correctly.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/selftest/bbtests: Add uuid to force build test

With hash equivalence working properly, this test breaks as it detects
an unchanged tasks and doesn't rerun subsequent tasks.

Add a uuid to the payload to ensure it doesn't ever match
equivalence and the test works as intended.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

gobject-introspection: Don't write $HOME into scripts

Writing an expanded version of $HOME into the wrapper script breaks
reproducibility. We don't need this here so don't.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libtool: Allow libtool-cross to reproduce

The hostname removal from the script is useful to make libtool-cross
reproduce. Apply the patch everywhere as it doesn't cause any issues.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

util-linux: Fix reproducibility

Sort the list of files to ensure the pkgdata output is deterministic.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

mesa: Ensure megadrivers runtime mappings are deterministic

Add a sort to ensure the package dependency output is determnistic.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

gnupg: Be deterministic about sendmail

Set a path to where sendmail would exist making the output deterministic
as it no longer depends on the build host and the presense of sendmail
there.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

package: Ensure pclist files are deterministic and don't use full paths

Currently the pkgconfig pclist files contain full paths which are build
host specific and the order of entries is not deterministic.

Fix both these issues so the files are deterministic.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

rpm: Ensure compression parallelism isn't coded into rpms

We don't want the compression thread numbers to be encoded into the rpm
since this results in the rpm not being deterministic. Add a patch
from Alex Kanavin which addresses this issue (was queued for rpm 4.17
but we need to fix this with 4.16 too).

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ruby: fix the reproducibility issue

Apply some changes on the Ruby makefiles in order to fix the reproducibility:
- use a fixed timestamp,
- sort linked objects,
- doesn't use the current date,
- and use UTC date.

[YOCTO #14268]

Signed-off-by: Thomas Perrot <thomas.perrot@bootlin.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

python3: Fix sysroot reproducibility

Fixes the reformatting of the sysconfigdata to be reproducible in the
sysroot as well as in the package. During this a bug was uncovered in
the way that the data was reformatted where it appears that python
cannot parse a single line of code over 40000 characters. To work around
this, pass a maximum with of "1" to pprint instead of sys.maxsize which
will cause it to wrap as often as possible and should keep it
reproducible.

Signed-off-by: Joshua Watt <JPEWhacker@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

strace: upgrade 5.13 -> 5.14

Improvements

Implemented decoding of memfd_secret and quotactl_fd syscalls, introduced in Linux 5.14.
Enhanced prctl syscall decoding.
Enhanced decoding of IFLA_* netlink attributes.
Enhanced decoding of MDBA_ROUTER_PATTR_* mdb router port netlink attributes.
Updated lists of BPF_*, IORING_*, MADV_*, MOUNT_ATTR_*, SCTP_*, and UFFD_* constants.
Updated lists of ioctl commands from Linux 5.14.
Bug fixes

Fixed build using bionic libc.

Signed-off-by: Wang Mingyu <wangmy@fujitsu.com>
Signed-off-by: Alexandre Belloni <alexandre.belloni@bootlin.com>

libevent: mark util/monotonic_prc_fallback as retriable

Backport a patch to fix the below ptest failure:
 # ./run-ptest
 Running tests:
 EVPORT
 Skipping test
 KQUEUE
 Skipping test
 EPOLL
 test-eof: OKAY
 test-dumpevents: OKAY (output not checked)
 regress:
  FAIL ../libevent-2.1.12-stable/test/regress_util.c:1478: assert(diff.tv_sec == 0): 1 vs 0 util/monotonic_prc_fallback:
  [monotonic_prc_fallback FAILED]
 1/312 TESTS FAILED. (33 skipped)
 FAILED
 regress_debug:
  FAIL ../libevent-2.1.12-stable/test/regress_util.c:1478: assert(diff.tv_sec == 0): 1 vs 0 util/monotonic_prc_fallback:
  [monotonic_prc_fallback FAILED]
 1/312 TESTS FAILED. (33 skipped)
 FAILED
 [snip]

(From OE-Core rev: edecbbdacab5227c75e4a199e124389f8036b421)

[YOCTO #14507]

Signed-off-by: Mingli Yu <mingli.yu@windriver.com>
Signed-off-by: Alexandre Belloni <alexandre.belloni@bootlin.com>
Signed-off-by: Thomas Perrot <thomas.perrot@bootlin.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ovmf: add TPM PACKAGECONFIG and enable if tpm is in MACHINE_FEATURES

By enabling TPM support the boot will be measured into the TPM's
Platform Configuration Registers (PCRs).

Signed-off-by: Kristian Klausen <kristian@klausen.dk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

scriptutils.py: Add check before deleting path

Add a check before deleting path when using recipetool commands to avoid the following type of errors:

Traceback (most recent call last):
   File "<workdir>/sources/core/scripts/lib/scriptutils.py", line 218, in fetch_url
    shutil.rmtree(path)
  File "/usr/local/lib/python3.7/shutil.py", line 476, in rmtree
    onerror(os.lstat, path, sys.exc_info())
  File "/usr/local/lib/python3.7/shutil.py", line 474, in rmtree
    orig_st = os.lstat(path)
FileNotFoundError: [Errno 2] No such file or directory: '<workdir>/build/tmp/work/recipetool-usg7o81n/work/recipe-sysroot'
ERROR: Command 'script -e -q -c "recipetool --color=always create --devtool -o /tmp/devtool5sq_op37 'file:///<SRCTREE>'  -x <workdir>/build/workspace/sources/devtoolsrcxc1b9zjq -N test" /dev/null' failed

Signed-off-by: Sai Hari Chandana Kalluri <chandana.kalluri@xilinx.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

vim: fix CVE-2021-3778

vim is vulnerable to Heap-based Buffer Overflow

reference:
https://github.com/vim/vim/commit/65b605665997fad54ef39a93199e305af2fe4d7f
(From OE-Core rev: 494929c4cec21712884e13172c37efad7c908411)

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

recipes-support/ptest-runner: Bump to v2.4.2

Changes,

bcb8280 utils.c: add system data collection when a test gets stuck.
c29240c utils.c: handle test timeouts directly with poll()
d6f509f tests/utils.c: fix a memory corruption in find_word
c10e747 main: Do not return number of failed tests when calling ptest-runner
4958988 utils.c: fix memory leak in run_ptests()
fcfa6a1 clang: clean-ups to avoid -Weverything warnings.
215e52d Makefile: allow using CC env var to pick compiler
fdd233d mem: Simplify memory management
e5e218a mem: Fix memleak for ptest_opts
0dc42eb git: Extend the gitignore

Signed-off-by: Aníbal Limón <anibal.limon@linaro.org>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

rm_work.bbclass: Fix for files starting with -

This makes it possible to name files starting with a hyphen in the work
directory. Without this change rm will fail due to an unexpected option
being passed.

Signed-off-by: William A. Kennington III <wak@google.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lib/oe/spdx.py: Add comments

Adds several comments to this file to explain the intention and how it
should be used

Signed-off-by: Joshua Watt <JPEWhacker@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

create-spdx: Use SPDXAnnotation to track native recipes

Create a small function that checks for 'isNative' as part of an Annotation

When the collect_dep_sources() runs, it collects sources from both native
and non-native recipes. Later when the GENERATED_FROM matching occurs it
may find the file (via checksum) from the native recipe since it's the
same checksum as the target file. The that are generated DocumentRefs
point to the native recipe rather than the target recipe DocumentRef.

Signed-off-by: Saul Wold <saul.wold@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

spdx.py: Add SPDXAnnotation Object

This is added to allow the create-spdx code to create annotations
that store values properly according to the SPDX Specification.

Initialy they will be used to track if a recipe is a native type.

Signed-off-by: Saul Wold <saul.wold@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

package_ipk: Use localdata store when signing packages

When signing a package, we were resolving the `PKGV` version using the
original data store (`d`). However, since that store does not have the
package name in its `OVERRIDES` list the wrong version can be returned in
recipes that produce multiple packages. One such example would be
`external-arm-toolchain.bb`.

The above issue is fixed by using `localdata` instead of `d` when
resolving the needed variables.

Signed-off-by: Kenfe-Mickael Laventure <mickael.laventure@verkada.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

spdx-licenses.json: Use 3.14 tagged version

The validation tools expect the licenseListVersion to be a proper X.Y version,
not an intermedite git hash version.

Signed-off-by: Saul Wold <saul.wold@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

glew: Stop polluting /tmp during builds

Currently the glew code creates a new directory in /tmp for each make
invocation. This is a bit ugly, don't do that. The patch does break the
dist targets but we don't use them.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

hello-mod/hello.c: convert printk to pr_xxx

Convert to the newer pr_xxx aliases for logging, which embed the log level in
the macro names.

Signed-off-by: Trevor Woerner <twoerner@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

kernel.bbclass: remove unnecessary dead code

The grep pattern seems to have been wrong ever since we stopped adding
the -ffile-prefix-map via a patch in commit 20aea61385e, because the
actual upstream gcc produces

  -ffile-prefix-map=<old>=<new>

and not

  -ffile-prefix-map=<old=new>

Besides, these *-prefix-map options are already used when building the
kernel due to the setting of KERNEL_CC, and the kernel build system
itself also probes for and uses at least -fmacro-prefix-map (hence
taking care of __FILE__ etc., but not necessarily things that go in
.debug_info sections).

Signed-off-by: Rasmus Villemoes <rasmus.villemoes@prevas.dk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/selftest/tinfoil: Update to use test command

We've had IO load issues on the autobuilder with this test. Avoid
those by using a specilised test command instead.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

wic:direct.py: ignore invalid mountpoints during fstab update

wic fstab-update creates invalid entries for partitons that are not supposed to
be mounted from userspace eg u-boot partitions.

The following lines were added to fstab on a rock-pi-4:
/dev/mmcblk1p1 loader1 vfat defaults 0 0
/dev/mmcblk1p2 reserved1 vfat defaults 0 0
/dev/mmcblk1p3 reserved2 vfat defaults 0 0
/dev/mmcblk1p4 loader2 vfat defaults 0 0
/dev/mmcblk1p5 atf vfat defaults 0 0
/dev/mmcblk1p6 /boot vfat defaults 0 0

With this patch only valid entries should be added
/dev/mmcblk1p6 /boot vfat defaults 0 0

Signed-off-by: MarkusVolk <f_l_k@t-online.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libc_package/buildstats: Fix python regex quoting warnings

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/buildproject: Ensure temp directories are cleaned up

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/selftest/gotoolchain: Fix temp file cleanup

The go tests leave readonly files and directories behind.
Fix this to allow cleanup.

[YOCTO #14575]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

packagegroup-core-tools-profile: Exclude systemtap from riscv32 as well

The recipe can't be built for riscv32 so exclude it alongside riscv64.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

autotools.bbclass: use ordinary append for file-checksums update

Commit 29daffc2410f06f36b779d5bf1fd1ef6e900ca8f added an
anonymous python function to append the site file dependencies
for do_configure. This causes any recipe that inherits allarch
after autotools to end up with a different set of file checksums
for each machine, since the anonymous python would get processed
before the TARGET_ARCH changes in allarch.

Use an ordinary += assignment to fix this.

Signed-off-by: Matt Madison <matt@madison.systems>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

pseudo: Add in ability to flush database with shutdown request

Pulls in:
  pseudo_db: Flush DB if there is a shutdown request
  fcntl: Add support for fcntl F_GETPIPE_SZ and F_SETPIPE_SZ (test fix)

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/qemurunner: Use oe._exit(), not sys.exit()

sys.exit will cause finally statements and other code to run at exit. Since
we're using os.fork() here, os._exit() is apprioriate in this codepath.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libsamplerate0: Set correct soname for 0.1.9

Manually patch SHARED_VERSION_INFO, which was missed in
the 0.1.9 release and later incorrectly fixed until 0.2.1

Signed-off-by: Tom Pollard <tom.pollard@codethink.co.uk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

bzip2: Update soname for libbz2 1.0.8

Set shared library name as libbz2.so.1.0.8, version in configure.ac
already synced via do_configure PV substitution.

Signed-off-by: Tom Pollard <tom.pollard@codethink.co.uk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

linux-yocto/5.13: drop recipes

5.13 is EOL upstream, and we've moved to 5.14 for the release, so
we drop the versioned recipes. The kernel tree and branches will
stay available for use, but other layers must create recipes if
they wish to continue with 5.13.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lttng-modules: fix build against 5.15+

When testing linux-yocto-dev 5.15-rc, lttng-modules fails to build.
Upstream already has fixes for 5.15 in the release branch, so we
backport the two patches here and we can drop them on the next version
bump.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lttng-modules/dev-upstream: update to 2.13-latest

To ensure we can build against 5.15, and to keep in sync with the
versioned recipe, we bump to the latest commit on the 2.13 release
branch.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

linux-yocto-dev: update to v5.15-rcX

The main reference kernel has moved to 5.14, so we bump -dev to
5.15 for the release.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ffmpeg: fix CVE-2021-38171

backport from upstream

Signed-off-by: Kiran Surendran <kiran.surendran@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

inetutils: fix CVE-2021-40491

CVE-2021-40491:
The ftp client in GNU Inetutils before 2.2 does not validate addresses
returned by PASV/LSPV responses to make sure they match the server
address. This is similar to CVE-2020-8284 for curl.

References:
https://nvd.nist.gov/vuln/detail/CVE-2021-40491

Patch from:
https://git.savannah.gnu.org/cgit/inetutils.git/commit/?id=58cb043b190fd04effdaea7c9403416b436e50dd

Signed-off-by: Yi Zhao <yi.zhao@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

conf/machine: bump qemu preferred versions to 5.14

5.14 is the latest reference kernel, so let's make it the
default.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

systemtap: update to 4.5-latest

To fix issues with 5.14+ kernels, we bump to the latest 4.5 systemtap.
This means that we can drop a backported patch, and we pickup the
following changes:

    7f6992539 Correct RISC-V handling of SDT markers and document their format.
    2dfd140fd Fix races in perf probe task finder callback
    f463f6053 The /* pc=0x... */ is no longer printed by "stap -v -L 'kernel.function("*")'
    0bd97a806 Use task_state tapset function to avoid task_struct changes
    4996a29c6 tapset: start adopting kernel netif_* tracepoints in netdev.* tapset
    fb0851e62 dwflpp.h: add conditional EM_RISCV define
    c5599df8e Add dwarfless register access for RISC-V
    33d861435 Add bactrace support for RISC-V
    2ae3fc866 RISC-V dwarf register number to pt_reg mappings
    3df603720 Eliminate the sa_restorer field in sigaction struct for RISC-V.
    a6aff9d33 Avoid generating problematic asynchronous unwind tables on RISC-V
    a463860c3 Add RISC-V 64-bit processor support
    8486fd78d Add the actual RISC-V syscall-number mappings to the tapsets.
    1e383aa38 Add creation of mappings between syscall names and numbers for RISC-V
    aedb2dbe7 RISC-V doesn't have crash available, disable it for rpmbuilds.
    33a9bf1a1 Update to newer config.guess to support RISC-V
    3bca17469 Use lex_cast instead of to_string when shortening function names.
    0b5bc934a Revert "runtime: unregister the control channel before cleaning up"
    166a95089 runtime: fix panics when polling on the control channel while unloading
    e6a1b008b Shorten function names that will exceed the kernel's objtool limit of 128
    4f54ba033 runtime/transport: add a comment blurb for ordering invariant at shutdown
    dbe08f1ac runtime: unregister the control channel before cleaning up
    798a67290 bpf pr23478 :: test non-unique key/val iteration
    079f5d708 bpf pr23478 :: test multi-key associative array iteration
    70b24879d rhbz1938312: un-disable bpf.exp after kernel bugfix
    2896d6f5a pr23478 WIP: fixes for existing foreach testcases
    0d1a38dbc pr23478 WIP: rework bpf foreach to handle multi-key array
    14a2c8f54 Run task_fd_lookup.exp with --compatible 4.0
    f2c147767 PR28184: Adapt to kernel rename __fcheck_files to files_lookup_fd_raw
    0581a6560 PR28184: Adapt to kernel rename __fcheck_files to files_lookup_fd_raw
    559fd51fe testsuite: time-limit auxiliary child processes
    5d89bb03e stapbpf bugfix: missing in_block() in try-catch code
    04b43f48f releng: ditch custom pie/ssp CFLAGS engine in configure.ac
    b47d03c20 PR28079: Adapt to kernel 5.14 task_struct.__state change
    e66f3a83b runtime: adapt to -Werror=implicit-fallthrough=5, dyninst runtime
    ea00c1070 PR28140: kernel 5.14-rc adaptation, jump_label_patch
    ffb0a38ea runtime: adapt to -Werror=implicit-fallthrough=5
    efba2178f Revert to using test_tsk_thread_flag for uprobes2
    23db8b29f PR27984: Adjust the address so dwfl_module_addrinfo finds correct function name
    a29f65d57 PR28079: Adapt to kernel 5.14 task_struct.__state change
    2f7e966c0 testsuite item typo fix
    5abb4d130 PR27934: give fuller diagnosis for pass-5 probe-registration errors
    371805aa0 PR27820 tapset/bpf/logging.stp: implement abort() tapset function
    ee361f183 PR27820 tapset/bpf/logging.stp: move bpf versions of functions
    968173f7f runtime: linux 5.14 compat: <linux/panic_notifier.h>
    ef5a8b9ed runtime: fix unintended compile error with autoconf-x86-uniregs.c
    84ef6bd9f Revert "systemtap.spec: don't buildrequire emacs"
    65fc44163 spin-rawhide: ok tweak the git-archive top level path too
    c7f1c12e1 spin-rawhide: switch to ~ versioning for Source: file names too
    bff2b2ff5 spin-rawhide: switch to ~ versioning for n-v-r
    7c2751e37 task_finder_vma: add autoconf check for hlist_add_tail_rcu()
    ea7c27bbe Don't fail vma tracking mmap callback if module is already known.
    2eb7fdfdb Use the path instead of the module for vma tracking mmap callback.
    a5104a612 update READMEs + man pages for freenode -> oftc move
    23c351645 Update list of reasons for latencytap.stp example
    5409ddea1 rhbz1972805: add basic syscall-in-ptregs support for s390x
    0fc73fc4e systemtap.spec: don't Require: libvirt
    515a6a2d6 rhbz1972828: tapsets: iommu tracepoints
    eaf63df6a ppc64 runtime: FULL_REGS() gone
    757d4f654 c++ buildability: util.cxx - unique_ptr
    1a6e7aea7 systemtap.spec: don't buildrequire emacs
    5ff28c970 Allow for adjacent segments belonging to different modules.
    b1e8cd5de Note that Python is a requirement.
    27115ab4c Get the enumerator's enumeration type
    1288bee31 testsuite/systemtap.base/perf.sh drop bashism
    4755bc453 Add hlist macros for use by hlist_add_tail_rcu
    bccf5123f parse.cxx: Initialize functioncall synthetic field
    9bbee6518 Add hlist_add_tail_rcu for rhel 6.
    630e406b8 Don't assume ISO C99
    4a3ad3532 Extend vma mapped entries when the address is adjacent.
    294b7a53e stap-prep: switch to using main vmlinuz file as debuginfod test download
    643351d22 PR27903: grok more glibc dwarf
    3a843482a c++11 hygiene: use cxx_override macro for pre-4.7 g++
    3e9bcd7b1 Fix more -Wformat-nonliteral and -Wmismatched-tags when compiling with clang
    8e5145ae4 dtrace: Use -o option to specify output file for CPP
    b3a392975 Fix -Wformat-nonliteral and -Wformat warnings with clang
    545535f82 Fix -Woverloaded-virtual warnings when building with clang
    0f4bd3219 set2: Return this from assignment operator
    6de815bca Add missing copy constructors to set1_ref and set1_const_ref
    930b54119 Add some override specifiers where missing
    14f04522b util.cxx: Use abs() instead of labs()
    13016e9dd systemtap.spec: python3 tweaks
    494ece199 PR27864: tolerate loc_unavailable during loc2c transform
    e8f5c058f autoconf: version bumps for the next release-4.6
    77abac91d version bumps for the next release-4.6
    0eba8a46b NEWS: release-4.5

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

linux-yocto: introduce 5.14 reference kernel

Each release of the kernel is not typically used as a versioned
reference kernel, but since 5.13 has gone EOL upstream and was
never part of a release, we take the opportunity to udpate our
reference to 5.14.

5.13 will be removed in subsequent commits, once all dependent
BSPs and layers have been updated.

No issues were found across all architectures, images in qemu
boot testing.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libc-headers: bump to v5.14

The reference kernel is moving to 5.14, and 5.13 is EOL upstream, so
we update the libc-headers to match.

No patch issues were found for musl or glibc.

Signed-off-by: Bruce Ashfield <bruce.ashfield@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lttng-ust: fix do_compile error when PACKAGECONFIG examples is enabled

when PACKAGECONFIG enabled examples, compile failed with error:
fix below compile error during PACKGAGECONFIG examples is enabled:
tmp/work/corei7-64-wrs-linux/lttng-ust/2_2.13.0-r0/recipe-sysroot-native/usr/bin/x86_64-wrs-linux/../../libexec/x86_64-wrs-linux/gcc/x86_64-wrs-linux/11.2.0/ld: warning: liblttng-ust-common.so.1, needed by ../../../src/lib/lttng-ust/.libs/liblttng-ust.so, not found (try using -rpath or -rpath-link)
tmp/work/corei7-64-wrs-linux/lttng-ust/2_2.13.0-r0/recipe-sysroot-native/usr/bin/x86_64-wrs-linux/../../libexec/x86_64-wrs-linux/gcc/x86_64-wrs-linux/11.2.0/ld: warning: liblttng-ust-tracepoint.so.1, needed by ../../../src/lib/lttng-ust/.libs/liblttng-ust.so, not found (try using -rpath or -rpath-link)

Signed-off-by: Changqing Li <changqing.li@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/selftest: Add tests for bitbake shell/python task output

We've seen issues where shell/python tasks lose their log file entries
or output and also where output is duplicated. Add some tests to attempt
to spot regressions in this area in future.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ssate: Cleanup directtasks handling

There are several tasks which should only be triggered by direct
dependencies. Some are listed in the dep loop, some are not. They
should all be in both cases.

Fix this by making a list and using the list in both cases to fix
various inconsistencies.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

sstate: Avoid deploy_source_date_epoch sstate when unneeded

This sstate task is only needed when depended upon, it can be skipped
if there are no tasks running that directly depend upon it.

This reduced the number of sstate tasks in something like an image
build.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

sstate: Ensure deploy tasks don't pull in toolchains

If an image is built from sstate, the cross toolchain was being pulled in.
This was due to the sstate dependencies for deploy tasks not being considered
in the "depvalid" logic.

do_deploy tasks do not need their populate_sysroot dependencies when installed
from sstate so skip these. This reduces the sstate pulled in by an image
build from sstate significantly.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

staging: Mark deploy an sstate task

Deploy is a tricky task as it isn't in SSTATETASKS as it isn't always
present. We do need to ensure dependency chains around do_deploy tasks
are correctly handled as sstate tasks though. For now add to the list of
sstate tasks manually (like the other locale task reference).

Without this, missing manifest files could be reported now that do_deploy
tasks no longer have their dependencies added by the depvalid function.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

meta: Drop useless class

This class was added by me back in 2007 and has changed one for a whitespace issue
since. It only has two lines and neither are particularly useful, one was replaced
by the nopackages class, the other adding recursive dependencies also is now
mainly problematic adding tons of unneeded dependencies. The name is hard to
understand and the class doesn't have a clear purpose. Drop it.

Remove the references in devtool (which may be the one reason to keep it around
but in my view still not worth it).

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

buildtools-tarball/uninative-tarball/meta-ide-support: Drop useless meta class

The class adds an emtpy PACKAGES setting but most code now uses the
nopackages class which is much clearer. It also adds recursive do_build
dependencies which don't really serve any useful purpose any more.

Simplify the code and drop the class use.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

populate_sdk_base/images: Drop use of 'meta' class and hence do_build dependencies

The 'meta' is old and not very useful. It empties PACKAGES and creates
recursive do_build dependencies.

We shouldn't need such recursive build dependencies any more so simplify the code.

This does cause behaviour changes as some dependencies are no longer built.
It did show up issues with qemu-helper-native handling for example but those
issues look like real races and the underlying dependency chains were not correct.

'bitbake XXX --runall build' would give the previous behaviour.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

reproducible_build/package_XXX: Ensure SDE task is in dependency chain

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

package_ipk/deb/rpm: Drop recursive do_build task dependencies

This is a controversial change which removes the recursive dependencies
from the do_build target of packaging tasks of recipes.

Currently this means when you "bitbake <image>" or "bitbake <recipe>",
the packaging tasks run for all packaging backends enabled for all recipes
in the dependency chain. The same therefore then applies to images.

We don't actually need that, it is a convinience thing. Removing it
massively simplifies the task graph and causes much fewer tasks to execute
in many common scenarios. It also means less sstate is fetched for
example when building an image.

This means when building a recipe all package formats would be built
but when building an image, only the format used by the image would be
generated. This should be an improvement in most cases but some CI systems
may need to be explict about what they're building.

'bitbake XXX --runall build' would give the previous behaviour.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

siteinfo/autotools: Ensure task checksums reflect site files

Currently, if you change the site files, nothing rebuilds since they are
not accounted for in task checksums. They could/should be through the
file-checksums task flag. We need to cache all the files looked for,
whether the exist or not so that if they do exist and didn't,
the checksum also changes.

This gets complicated by the need to clean out hardcoded build
paths from the variable and that other layers can have site files.

This patch adds this functionality. A new variable, SITEINFO_PATHVARS
is added which controls which substitutions to make on the file-checksum
values to remove the hardcoded paths. Layers adding site files will need
to set this to a variable that has the layer path in it and is excluded
from task hashes (COREBASE is the one the core layer uses).

This patch will cause yocto-check-layer to fail for some layers
where site files are added yet the layer isn't a machine specific layer.
This is arguable correct since these additional site files apply to
all recipes and things from a layer like core could be changed by such
changes so it is right they should rebuild. There is a determinism issue
potentially there if not. meta-openembedded does have some such references
but looking at them they should move to core or likely just be removed as
most look obsolete anyway.

[YOCTO #13729]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

image/qemu: Add explict depends for qemu-helper addto_recipe_sysroot task

The populate_sysroot task isn't enough for qemu-helper-native, we need
it's addto_recipe_sysroot task. This corrects what amounts to bad
dependency information to be explicit.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

site: Drop ORBit2 relared cached variables

ORBit2 is long gone

Signed-off-by: Khem Raj <raj.khem@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

site: Drop caching libIDL_cv_long_long_format

recipe for libidl has long been deleted

Signed-off-by: Khem Raj <raj.khem@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

connman: add CVE_PRODUCT

Upstream database uses both "connman" and "connection_manager" to report CVEs

Signed-off-by: Steve Sakoman <steve@sakoman.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

scripts/oe-publish-sdk: Disable git gc to avoid build errors

I've puzzled over why I see local eSDK test failures. It is due to having a
messy git tree locally, git then runs git gc in the background which races
against the deletion code for the publish test. Disable git gc to avoid this.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

oeqa/target/ssh: don't assume target_dumper is set

The target_dumper property is only set by the QemuTarget subclass, so
assign a default value and check it isn't None before calling it.

Signed-off-by: Ross Burton <ross.burton@arm.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

pybootchart: Avoid divide by zero

Avoid a rare divide by zero error if there isn't data point spread.

[YOCTO #14547]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libsoup-2.4: remove obsolete intltool dependency

This hasn't been needed since libsoup 2.65.2.

Signed-off-by: Ross Burton <ross.burton@arm.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

shared-mime-info: use a more concise description

For example we don't need to talk about historic build dependencies.

Signed-off-by: Ross Burton <ross.burton@arm.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cross: Drop unused do_install

All the users of the cross class I could find redefine the do_install
function. It is unusual and likely undesirable for the class to be
changing this from the default and likely a leftover from different
times. Remove it as it isn't doing anything.

[YOCTO #9272]

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

avahi: remove obsolete intltool-native dependency

intltool was replaced with gettext in the 0.8 release.

Signed-off-by: Ross Burton <ross.burton@arm.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

testimage: remove aarch64 xorg exclusion

aarch64/qemuarm64 has had graphics support for some time.  Remove this
exclusion and allow graphics tests to be against qemuarm64.

Signed-off-by: Jon Mason <jdmason@kudzu.us>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

qemu-native: add direct dependency on ninja-native and meson-native

* with many native dependencies excluded in:
  layer.conf: Extend recipes not to install without explict dependencies
  this was now failing with:
  ERROR: Cannot find Ninja
  and after adding ninja-native to DEPENDS it was failing due to missing meson as well:
  /OE/build/oe-core/tmp-glibc/work/x86_64-linux/qemu-native/6.0.0-r0/qemu-6.0.0/configure: 6415: --version: not found
  /OE/build/oe-core/tmp-glibc/work/x86_64-linux/qemu-native/6.0.0-r0/qemu-6.0.0/configure: 6418: setup: not found

Signed-off-by: Martin Jansa <Martin.Jansa@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

lttng-tools: Add missing DEPENDS on bison-native

This was being provided by other pieces of the dependency chain but is
specifically required by configure and could fail if those pieces come
from sstate. Fix such builds by adding the missing dependency.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

recipes: Add missing pkgconfig inherit

Various recipes were missing a pkgconfig inherit or pkgconfig-native
dependency despite using pkgconfig.

Add the inherit to igt-gpu-tools/gdb/libmodulemd/libwpe/xwayland/waffle
shaderc/iputils/wpebackend-fdo/lttng-ust/cargo.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

sqlite3: Exclude CVE-2021-36690 from cve checks

Issue is in an experimental extension we don't have/use. Could also
be windows only.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

libgcrypt: Upgrade 1.9.3 -> 1.9.4

Includes a fix for CVE-2021-40528.

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

vim: Backport fix for CVE-2021-3770

Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

testimage: symlink the task log and qemu console log to tmp/log/oeqa

This makes it easier for the AB scripts (particularly, collect-results)
to access and archive these items, as they can contain useful information
when ptests or other qemu tests fail (and also if they don't fail).

[YOCTO #14518]

Signed-off-by: Alexander Kanavin <alex@linutronix.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

rust-common.bbclass: make sure ccache exist

It fails to run task rust_create_wrappers of recipe which inherit
rust-common.bbclass such as rust-hello-world if no host ccache exists:

| DEBUG: Executing shell function do_rust_create_wrappers
| /path/to/project/tmp-glibc/work/core2-64-wrs-linux/rust-hello-world/git-r0/temp/run.do_rust_create_wrappers.3422:
    line 179: ccache: command not found

Run task rust_create_wrappers before do_prepare_recipe_sysroot to make
sure required tools such as ccache exist.

Signed-off-by: Kai Kang <kai.kang@windriver.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

cpan-base.bbclass: use raw string for regexp

This eliminates a deprecation warning and a future error as stipulated by
https://docs.python.org/3/library/re.html

Signed-off-by: Alexander Kanavin <alex@linutronix.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

wic: keep rootfs_size as integer

The corrected line accidentally converted it to float,
which causes problems later on with python 3.10:

|   File "/home/alex/development/poky/scripts/lib/wic/partition.py", line 278, in prepare_rootfs_ext
|     os.ftruncate(sparse.fileno(), rootfs_size * 1024)
| TypeError: 'float' object cannot be interpreted as an integer

Signed-off-by: Alexander Kanavin <alex@linutronix.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

meta: correct collections vs collections.abc deprecation

collections.abc is available since 3.3 and doesn't need special handling.

Signed-off-by: Alexander Kanavin <alex@linutronix.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

rng-tools: add systemd-udev-settle wants to service

rngd needs to start after `systemd-udev-settle` in order for the kernel
modules of the random source hardware to be loaded before it is started.

However, since the `rngd.service` does not require or want
`systemd-udev-settle.service` it might not be scheduled for start and
the `After=systemd-udev-settle.service` there has no effect.

Adding `Wants=systemd-udev-settle.service` provides a weak requirement
to it, so that the `rngd` is started after it, if possible.

Signed-off-by: Claudius Heine <ch@denx.de>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

machine/qemuarm*: use virtio graphics

Switch to using virtio graphics for the Arm QEMU machines.  You will
noticed the difference in the dmesg by seeing:
[    2.693337] [drm] pci: virtio-gpu-pci detected at 0000:00:10.0

Signed-off-by: Jon Mason <jdmason@kudzu.us>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

core-image-sato: Fix runqemu error for qemuarmv5

When attempting to execute runqemu on qemuarmv5, the following error is
encountered:

runqemu - ERROR - Failed to run qemu: qemu-system-arm: versatilepb: memory size must not exceed 256MB

To work around this, limit the QB_MEM size for qemuarmv5, similar to
what is being done for qemumips.

Signed-off-by: Jon Mason <jdmason@kudzu.us>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

Update mailing list address

Signed-off-by: Jon Mason <jdmason@kudzu.us>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

tcf-agent: Move to the latest master version

There has not been a release since 2018, the 1.7.0 release.  A number of
recent improvements around thumb and clang debugging prompted this move
to a newer version.

The patch is no longer necessary as it was a backport patch.

Signed-off-by: Mark Hatle <mark.hatle@kernel.crashing.org>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

expat: pull from github releases

sometimes we can find release tarballs from sourceforge are not fully
distributed along all download mirrors leading to fetching faiilures,
depending on what download mirror will be chosen by sourceforge
servers.
As the project moved to github anyway, it's better to pull the tarballs
directly from github releases - serving the very same static artifacts.

Add an override UPSTREAM_CHECK_URI to enable devtool upgrade checks

Signed-off-by: Konrad Weihmann <kweihmann@outlook.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

ffmpeg: fix LICENSE

Expat isn't a license name we have, use MIT instead.

Signed-off-by: Ross Burton <ross.burton@arm.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

systemd: Add tpm2 PACKAGECONFIG

The TPM2 support is used, among other things, for unlocking encrypted
volumes.

Signed-off-by: Kristian Klausen <kristian@klausen.dk>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>

hello-mod/hello.c: convert to module_init/module_exit

Switch away from the old init_module/cleanup_module function names for the
main entry points. Change them to the documented method with module_init()
and module_exit() markers next to static functions.

Signed-off-by: Trevor Woerner <twoerner@gmail.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>